使用Sqoop进行数据迁移时报错:Export job failed!

文章讲述了在使用Sqoop进行数据迁移时遇到的三个问题:错误1是关于输入字段分隔符的,需要确保是英文状态;错误2是命令格式问题,行尾应加空格;错误3是由于Hive和MySQL数据类型不匹配导致迁移失败,需调整数据类型后重试。
摘要由CSDN通过智能技术生成

可能的错误1

报错格式:

对比命令

sqoop export \
--connect jdbc:mysql://master:3306/social \
--username root \
--password admin \
--table person \
--num-mappers 1 \
--export-dir /user/data.txt \
--input-fields-terminated-by ","

再对比我上传至hdfs中的文件data.txt中的内容,发现其中的逗号为中文状态下,改为英文状态再重新进行数据迁移即可

可能的错误2

观察命令

sqoop export \
--connect jdbc:mysql://master:3306/social \
--username root \
--password admin \
--table person \
--num-mappers 1 \
--export-dir /user/data.txt \
--input-fields-terminated-by ","

可能是在输入时在每行的最后命令与‘\’之间未加空格,导致语法格式错误

可能的错误3

若在使用Sqoop从Hive表中导入MySQL进行数据迁移时报如下错误:

在MySQL中查看表中数据发现只迁移成功了一部分:

进入8042端口分别查看任务日志和master的resourcemanager日志发现:

因为MySQL表中已有一部分数据,并且日志中报错的信息属于任务失败和Java IOException类型,分析可得可能是因为Hive表中的数据属性类型和MySQL中的数据属性类型并不一致而造成,退出Hive,修改MySQL表中数据属性类型与Hive一致,重新使用Sqoop进行数据迁移,成功。

  • 11
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值