简介:Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。
一、查看hdfs数据查看,参考
[root@hadoop001 opt]# hadoop fs -text emp.txt /data/emp.txt1250yangyamei doctor1251zhangzhenxing doctor1261zhangjun nurse1265Bob doctor2000 spark nurse
参考:https://www.cnblogs.com/iloverain/p/8809950.html
二、MySQL数据库创建接收数据的空表emp_demo
mysql> select * fromemp_demo;
Emptyset (0.00sec)//表结构
mysql> descemp_demo;+----------+--------------+------+-----+---------+-------+
| Field | Type | Null | Key | Default | Extra |
+----------+--------------+------+-----+---------+-------+
| EMP_NO | int(11) | YES | | NULL | |
| EMP_NAME | varchar(255) | YES | | NULL | |
| Job | varchar(255) | YES | | NULL | |
+----------+--------------+------+-----+---------+-------+
三、开始导出数据到MySQL
sqoop export \--connect jdbc:mysql://hadoop001:3306/sqoop \--username root \--password 123456 \--table emp_demo \--export-dir /data/emp.txt \
-m 1\--verbose \--fields-terminated-by '\t'
–table 指定MySQL接收数据的表
–export-dir 指定从HDFS那个路径下导出数据
–verbose 打印更多信息
–fields-terminated-by ‘\t’ 指定分隔符为\t 记住必须指定分隔符否则报错
四、查看数据是否已经进入
mysql> select * fromemp_demo;+--------+---------------+--------+
| EMP_NO | EMP_NAME | Job |
+--------+---------------+--------+
| 1250 | yangyamei | doctor |
| 1251 | zhangzhenxing | doctor |
| 1261 | zhangjun | nurse |
| 1265 | Bob | doctor |
| 2000 | spark | nurse |
+--------+---------------+--------+
工作总结:
1.查询表
./sqoop list-tables --connect jdbc:mysql://192.168.5.129:3306/hadoop --username root --password 111111
2.hdfs导出到mysql中
sqoop export --connect jdbc:mysql://192.168.5.129:3306/hadoop --table emp_demo --username root --password 111111 --export-dir /opt/hadoop/hive/ --input-fields-terminated-by '\t'
sqoop export --connect jdbc:mysql://192.168.5.129:3306/hadoop --table emp_demo --username root --password 111111 --export-dir /user/hive/warehouse/emp --input-fields-terminated-by '\t'
3.mysql导入到hdfs中
sqoop import --connect jdbc:mysql://192.168.5.129:3306/hadoop --username root --password 111111 --table emp_demo --fields-terminated-by '\t' -m 1
4.导入报错
18/08/11 11:56:34 WARN hdfs.DataStreamer: Excluding datanode DatanodeInfoWithStorage[192.168.5.132:50010,DS-f3e2c26c-28a0-4226-b768-cf1585d38ba5,DISK]
关闭防火墙
5.将数据文件上传至hdfs
hadoop fs -put --hdfs dir 一定要存在,否则命令不会执行
6.sqoop定位数据行数
-Dorg.apache.sqoop.export.text.dump_data_on_error=true
参考:https://blog.csdn.net/qq_20064245/article/details/78352973
sqoop export-Dorg.apache.sqoop.export.text.dump_data_on_error=true${sqoop_connect_param_oneline}--export-dir