SQOOP从mysql导入数据到hive问题

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/Ntozot/article/details/82623784

需要将mysql一张表的数据导入到hive表当中
初始的执行命令如下:

sqoop import --connect jdbc:mysql://10.1.x.x:3306/dbname?characterEncoding=utf-8
--username root 
--password 123456 
--table test
--target-dir /home/hdfs/data/test/insert_time=20180911 
--delete-target-dir 
--fields-terminated-by '|'

执行没有问题,将表中的所有数据导入到了hive。注意**- -delete-target-dir参数,如果这个目录是已经存在而没有配置这个delete参数,会包路径已存在的错误。现在以- -query**参数执行sql筛选数据:

sqoop import --connect jdbc:mysql://10.1.x.x:3306/dbname?characterEncoding=utf-8 
--username root 
--password 123456 
--query 'select * from test where Id='86461a32-37bf-42b9' ' 
--target-dir /home/hdfs/data/test/insert_time=20180911 
--delete-target-dir 
--fields-terminated-by '|'

执行出现问题,提示:

When importing query results in parallel, you must specify --split-by.

分析上面的命令,需要参数**- -split-by**,这个参数的意思是,指定一个字段作为分区字段,比如 id 字段,数字是0到1000,可能会指定0-100为一个分区,启动一个mapTask进行处理,每100分别启动一个maptask。可以看出,如果指定的字段为字符串类型,会显得非常不友好。 但是有另外一个参数可以解决**- -num-mappers 1** ,直接指定maptask数量。
修改命令如下:

sqoop import --connect jdbc:mysql://10.1.x.x:3306/dbname?characterEncoding=utf-8 
--username root 
--password 123456 
--query 'select * from test where Id='86461a32-37bf-42b9' ' 
--num-mappers 1
--target-dir /home/hdfs/data/test/insert_time=20180911 
--delete-target-dir 
--fields-terminated-by '|'

接着报错:

 ERROR tool.ImportTool: Import failed: java.io.IOException: Query
  [select * from dict_item where dictTypeId=86461a32-37bf-42b9-a3e0-c85b676b2718 ] 
 must contain '$CONDITIONS' in WHERE clause.

可以看到两个错误,一个sql语句中where条件后面的字符串没有单引号,第二个就是query参数必须要的一个参数**$CONDITIONS**,所以,一方面将sql语句的单引号改为双引号,一方面增加$CONDITIONS参数
修改为:

sqoop import --connect jdbc:mysql://10.1.x.x:3306/dbname?characterEncoding=utf-8 
--username root 
--password 123456 
--query "select * from test where Id='86461a32-37bf-42b9' and  $CONDITIONS "
--num-mappers 1
--target-dir /home/hdfs/data/test/insert_time=20180911 
--delete-target-dir 
--fields-terminated-by '|'

此时还有一个问题

ERROR tool.ImportTool: Import failed: java.io.IOException: Query 
[select * from dict_item where dictTypeId='86461a32-37bf-42b9-a3e0-c85b676b2718' and   ] 
must contain '$CONDITIONS' in WHERE clause.

可以看到错误信息中sql语句where后面的conditions变量不见了,说明双引号中需要转义,加一个反斜杠
一般来说是不用加的,加了反斜杠反而会报错,但是需要根据解析出来的sql进行决策,最开始尝试建议不加

sqoop import --connect jdbc:mysql://10.x.x.x:3306/dbname?characterEncoding=utf-8 
--username root 
--password 123456 
--query "select * from test where Id='86461a32-37bf-42b9' and  \$CONDITIONS "  
--num-mappers 1 
--target-dir /home/hdfs/data/dict_item/insert_time=20180911 
--delete-target-dir 
--fields-terminated-by '|'

综上记录使用sqoop import过程中相关的问题。import命令参数举例如下:

bin/sqoop import \
--connect jdbc:mysql://172.16.71.27:3306/babasport \
--username root \
--password root \
--query 'select id, brand_id,name from bbs_product  where $CONDITIONS LIMIT 100' \
--target-dir /user/xuyou/sqoop/imp_bbs_product_sannpy_ \
--delete-target-dir \
--num-mappers 1 \
--compress \
--compression-codec org.apache.hadoop.io.compress.SnappyCodec \
--direct \
--fields-terminated-by '\t'
展开阅读全文

没有更多推荐了,返回首页