利用sqoop将数据从hive导入mysql时报错

最新推荐文章于 2024-08-05 13:21:49 发布

加油鸭小邱

最新推荐文章于 2024-08-05 13:21:49 发布

阅读量3.2k

点赞数 8

文章标签： mysql hive sqoop 大数据

本文链接：https://blog.csdn.net/weixin_47158773/article/details/124161038

版权

在进行大数据项目时，作者遇到使用sqoop从hive导入mysql时遇到错误。经过多次尝试和查阅资料，作者发现错误并非mysql编码问题，而是数据格式异常。通过在Excel中筛选并删除异常数据，重新上传后成功导入。同时，作者提到在解决问题过程中还调整了yarn-site.xml配置。最后，作者分享了这段经历，希望对他人有所帮助，并推荐了厦门大学实验室的大数据资源。

摘要由CSDN通过智能技术生成

······最近跟着厦门大学实验室在做大数据项目的一个案例，在利用sqoop将数据从hive导入mysql时报错，改了三天，参考了无数的案例，改到人崩溃，终于successfully！真的是我见过最好看的successfully了!记录下报的最多的一个错误，希望能帮助大家，给大家一个参考。

导入数据代码

cd /usr/local/hadoop/sqoop
./bin/sqoop export --connect jdbc:mysql://localhost:3306/dblab 
--username root --password hadoop --table user_action 
--export-dir '/user/hive/warehouse/dblab.db/user_action' 
--fields-terminated-by '\t'; #导入命令

./bin/sqoop export ##表示数据从 hive 复制到 mysql 中
–connect jdbc:mysql://localhost:3306/dblab
–username root #mysql登陆用户名
–password hadoop #登录密码
–table user_action #mysql 中的表，即将被导入的表名称
–export-dir '/user/hive/warehouse/dblab.db/user_action ’ #hive 中被导出的文件
–fields-terminated-by ‘\t’ #Hive 中被导出的文件字段的分隔符

报错

这段代码重复出现

INFO mapreduce.Job: Job job_1649814898218_0011 running in uber mode : false
22/04/13 16:43:52 INFO mapreduce.Job:  map 0% reduce 0%
22/04/13 16:43:53 INFO mapreduce.Job: Task Id : attempt_1649814898218_0011_m_000001_0, Status : FAILED
Container launch failed for container_1649814898218_0011_01_000003 : org.apache.hadoop.yarn.exceptions.InvalidAuxServiceException: The auxService:mapreduce_shuffle does not exist	
	at sun

最低0.47元/天解锁文章