Sqoop Import HDFS

最新推荐文章于 2023-05-11 21:29:06 发布
最新推荐文章于 2023-05-11 21:29:06 发布
阅读量198 收藏
点赞数
分类专栏： Sqoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pigziprogrammer/article/details/94437353
版权
本文详细介绍了使用Sqoop从MySQL数据库导入数据到Hadoop的多种场景，包括密码访问方式、全表导入、并行度控制、字段分隔符设置、增量导入、压缩启用、空值处理、部分数据导入等高级技巧。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Sqoop Import 应用场景——密码访问

明码访问

sqoop list-databases \

--connect jdbc:mysql://xxx.xxx.xxx.xxx/test \

--username root \

--password xxx

交互式密码

sqoop list-databases \

--connect jdbc:mysql://xxx.xxx.xxx.xxx/test \

--username root \

-p

文件授权密码

sqoop list-databases \

--connect jdbc:mysql://xxx.xxx.xxx.xxx/test \

--username root \

--password-file /user/hadoop/.password

Sqoop Import 应用场景——导入全表

不指定目录

sqoop import \

--connect jdbc:mysql://xxx.xxx.xxx.xxx/test \

--username root \

--password-file /user/hadoop/.password \

--table test_user

不指定目录

sqoop import \

--connect

'jdbc:mysql://xxx.xxx.xxx.xxx/test?useUnicode=true&characterEncoding=utf-8' \

--username root \

--password-file /user/hadoop/.password \

--table test_user

指定目录

sqoop import \

--connect jdbc:mysql://xxx.xxx.xxx.xxx/test \

--username root \

--password-file /user/hadoop/.password \

--table test_user \

--target-dir /sqoop/test/test_user

目录已存在

sqoop import \

--connect jdbc:mysql://xxx.xxx.xxx.xxx/test \

--username root \

--password-file /user/hadoop/.password \

--table test_user \

--target-dir /sqoop/test/test_user \

--delete-target-dir

Sqoop Import 应用场景——控制并行度

控制并行度

sqoop import \

--connect

'jdbc:mysql://xxx.xxx.xxx.xxx/test?useUnicode=true&characterEncoding=utf-8' \

--username root \

--password-file /user/hadoop/.password \

--table test_user \

--target-dir /sqoop/test/test_user \

--delete-target-dir \

-m 1

Sqoop Import 应用场景——控制字段分隔符

控制字段分隔符

sqoop import \

'jdbc:mysql://xxx.xxx.xxx.xxx/test?useUnicode=true&characterEncoding=utf-8' \

--username root \

--password-file /user/hadoop/.password \

--table test_user \

--target-dir /sqoop/test/test_user \

--delete-target-dir \

-m 1 \

--fields-terminated-by "@"

Sqoop Import 应用场景——增量导入

手动增量导入

sqoop import \

--connect 'jdbc:mysql://xxx.xxx.xxx.xxx/test?useUnicode=true&characterEncoding=utf-8' \

--username root \

--password-file /user/hadoop/.password \

--table test_user \

--target-dir /sqoop/test/djt_user \

-m 1 \

--fields-terminated-by "@" \

--append \

--check-column 'id' \

--incremental append \

--last-value 3

自动增量导入

sqoop job \

--create job_import_test_user \

--connect 'jdbc:mysql://xxx.xxx.xxx.xxx/test?useUnicode=true&characterEncoding=utf-8' \

--username root \

--password-file /user/hadoop/.password \

--table test_user \

--target-dir /sqoop/test/test_user \

-m 1 \

--fields-terminated-by "@" \

--append \

--check-column 'id' \

--incremental append \

--last-value 6

sqoop job --exec job_import_test_user

Sqoop Import 应用场景——启动压缩

启动压缩

sqoop import \

--connect

'jdbc:mysql://xxx.xxx.xxx.xxx/test?useUnicode=true&characterEncoding=utf-8' \

--username root \

--password-file /user/hadoop/.password \

--table test_user \

--target-dir /sqoop/test/test_user \

--delete-target-dir \

-m 1 \

--fields-terminated-by "@" \

-z

Sqoop Import 应用场景——导入空值处理

导入空值处理

sqoop import \

--connect

'jdbc:mysql://xxx.xxx.xxx.xxx/test?useUnicode=true&characterEncoding=utf-8' \

--username root \

--password-file /user/hadoop/.password \

--table test_user \

--target-dir /sqoop/test/test_user \

--delete-target-dir \

-m 1 \

--fields-terminated-by "@" \

--null-non-string "###" \

--null-string "###"

Sqoop Import 应用场景——导入部分数据

使用–columns

sqoop import \

--connect

'jdbc:mysql://xxx.xxx.xxx.xxx/test?useUnicode=true&characterEncoding=utf-8' \

--username root \

--password-file /user/hadoop/.password \

--table test_user \

--columns id,name \

--target-dir /sqoop/test/test_user \

--delete-target-dir \

-m 1 \

--fields-terminated-by "@" \

--null-non-string "###" \

--null-string "###"

使用–where

sqoop import \

--connect

'jdbc:mysql://xxx.xxx.xxx.xxx/test?useUnicode=true&characterEncoding=utf-8' \

--username root \

--password-file /user/hadoop/.password \

--table test_user \

--where "sex='female'" \

--target-dir /sqoop/test/test_user \

--delete-target-dir \

-m 1 \

--fields-terminated-by "@" \

--null-non-string "###" \

--null-string "###"

使用–query

sqoop import \

--connect

'jdbc:mysql://xxx.xxx.xxx.xxx/test?useUnicode=true&characterEncoding=utf-8' \

--username root \

--password-file /user/hadoop/.password \

--query "select * from test_user where age<=30 and \$CONDITIONS" \

--target-dir /sqoop/test/test_user \

--delete-target-dir \

-m 1 \

--fields-terminated-by "@" \

--null-non-string "###" \

--null-string "###"

Sqoop与HDFS集成
AI天才研究院
06-13 1133
Sqoop与HDFS集成 1. 背景介绍 1.1 大数据时代的数据集成需求 在当今大数据时代,企业面临着海量数据的采集、存储和分析的挑战。传统的数据库系统已经无法满足快速增长的数据量和多样化的数据类型的需求。因此,大数据技术应运而生,其中
使用Sqoop实现HDFS到mysql的数据导出
QYHuiiQ
05-13 2323
在实现数据导出之前，我们先做一下数据导入，使HDFS中有数据。 将之前已经存在的表emp的数据导入至HDFS [root@hadoop01 ~]# sqoop import --connect jdbc:mysql://hadoop03:3306/test_sqoop --username root --password 123456 --table emp --target-dir hdfs://hadoop01:8020/test_sqoop_hdfs/emp --delete-target-dir
sqoop增量导入到_sqoop的使用之import导入到HDFS
weixin_30388285的博客
02-06 224
首先我们已经安装好sqoop了，如果没有安装好参考文档《基于CentOS6.5-Hadoop2.7.3-hive-2.1.1安装sqoop1.4.7》准备一些基本的认识1、sqoop分为了sqoop1和sqoop22、sqoop2拆分server和client，类似于hiveserver2和beeline3、sqoop早期是一些封装MR程序，以jar文件的形式，最后才演变成了框架4、用于在hado...
sqoop 数据导入HDFS
weixin_46602525的博客
07-16 3822
Sqoop sqoop是把关系型数据库数据和HDFS互导的工具,以HDFS为中心，导入到HDFS用import，从HDFS导出用export 实例分析 Sqoop数据导入到HDFS 查看所有库的命令 sqoop list-databases --connect jdbc:mysql://dt100:3306 -username root -password 123123 查看某个库的表的命令 sqoop list-tables --connect jdbc:mysql://dt100:3306/b
Sqoop全量导入mysql表数据到HDFS
m0_63086929的博客
10-21 2783
Sqoop全量导入mysql表数据到HDFS
（MySQL里的数据）通过Sqoop Import HDFS 里 和 通过Sqoop Export HDFS 里的数据到（MySQL）（五）
chuyouyinghe的专栏
02-07 377
下面我们结合 HDFS，介绍 Sqoop 从关系型数据库的导入和导出一、MySQL里的数据通过Sqoop import HDFS　　它的功能是将数据从关系型数据库导入 HDFS 中，其流程图如下所示。　　我们来分析一下 Sqoop 数据导入流程，首先用户输入一个 Sqoop import 命令，Sqoop 会从关系型数据库中获取元数据信息，比如要操作数据库表的 schema是什么样子，这个表有哪些...
hdfs数据导入mysql_通过sqoop将hdfs数据导入MySQL
weixin_32678995的博客
01-27 2191
简介：Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库(例如 ： MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。一、查看hdfs数据查看，参考[root@hadoop001 opt]# hadoop f...
代码连接sqoop 导入hdfs 遇到的一些问题
weixin_41660300的博客
03-26 611
最近有要用到sqoop，但是不能以脚本的形式。研究了一下，中途有遇到一些坑，所幸最后成功， 在这里记录一下，自己做个笔记，也希望能帮助到别人。 首先说下我的集群环境以及mysql版本 集群： hadoop 版本3.0 MySQL 5.7 sqoop 版本 maven坐标中显示的版本是1.4.6 这里需要注意的是 maven中的jar是下载不下来的，我个人自作聪明的从maven 仓库手动下载，然后 自个 建立本地坐标（事实上这个是一个坑，我们稍后说明） maven 坐标为 org.apache.sqoop
2、sqoop导入（RMDB-mysql、sybase到HDFS-hive）
05-29
Apache Sqoop 是一个用于在关系型数据库（如 MySQL 和 Sybase）与 Hadoop 分布式文件系统（HDFS）之间高效传输数据的工具。在大数据处理中，Sqoop 提供了方便的数据导入和导出功能，它能够将结构化的数据从传统...
python使用hdfs库操作Hadoop的HDFS
热门推荐
名狱的博客
11-01 1万+
此次使用python的hdfs库操作HDFS，首相安装该库：pip install hdfs 其次，要保证HDFS可用，如下图就代表可用，当然你列出的文件和我的不同 老规矩，先来看看它这个库的大概结构，方便以后调用。先 import hdfs ，然后跟进hdfs库，查看定义它的地方。如下，既然是连接的库，那么这个client就是连接的客户端了，这里出现了三个client，它们有什么不同 首先是Client类，转到定义处之后，可以发现它里面有很多操作，基本的增删查改都有了，看它的 __init__ 方法，
【Hadoop】通过Sqoop实现从MySQL导入数据到HDFS
你不来，再美的天地，都狼藉 ~
05-11 9402
一文带你了解MySQL通过Sqoop导入数据到Hdfs的详细过程。
Sqoop-day02-import-从MySQL中导入数据到hdfs中
weixin_48370579的博客
06-19 1707
import-从MySQL中导入数据到hdfs中 从传统的关系型数据库导入HDFS、HIVE、HBASE...... MySQLToHDFS 编写脚本，保存为MySQLToHDFS.conf sqoop执行脚本有两种方式：第一种方式：直接在命令行窗口中直接输入脚本；第二种方式是将命令封装成一个脚本文件，然后使用另一个命令执行 第一种方式： sqoop import \ --append \...
Hadoop学习-3-HDFS简介及Python操作HDFS
DMF363的博客
11-28 1425
HDFS简介
sqoop导入数据到hdfs
m0_51984816的博客
08-27 2997
sqoop
[Sqoop基础]-- 导入数据到HDFS中（大数据存储系统）
欢迎来到我的博客，一起探索代码里的世界！
06-07 8057
环境准备:h15机器，mysql使用h15的，不用h17的mysql 配置hive的环境变量和hadoop的环境变量 注意： (1)一定要配置HADOOP_HOME和HIVE_HOME (2)和flume相似，要将sqoop放在active的namenode节点上   错误1：Error: Could not find or load main class org.apache.sqo...
Sqoop使用总结——导入数据到大数据集群import
背离赤道、逆光而行
05-20 1412
目录 RDBMS到HDFS RDBMS到Hive RDBMS到Hbase RDBMS到HDFS 1) 确定Mysql服务开启正常 2) 在Mysql中新建一张表并插入一些数据 $ mysql -uroot -proot mysql> create database company; mysql> create table company.staff(id int(4) primary key not null auto_increment, name varchar(25.
在hadoop 里安装 sqoop 并把mysql数据导入hdfs
yuyi_000的博客
07-23 1391
hadoop 2.6.0 sqoop：sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 然后把sqoop 解压。这里解压发生的问题是，找不到目标目录 tar -xzvf XXXXX -C ~/                  大写-C 不要忘记加上。 配置环境变量：sudo nano /etc/bash.bashrc  加上SQOOP_H
使用sqoop在HDFS与MySQL间迁移数据
bin/sqoop import --connect jdbc:mysql://localhost/test --table sss --username sqoop --password sqoop ``` 这将把MySQL中的`test.sss`表导入到HDFS的默认目录下。 7. 若要导出HDFS的数据回MySQL，可以使用 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值