Sqoop的mysqltohive报错

最新推荐文章于 2022-04-07 09:16:54 发布

圆内~搁浅

最新推荐文章于 2022-04-07 09:16:54 发布

阅读量1.8k

点赞数

文章标签： hive sqoop hadoop

本文链接：https://blog.csdn.net/qq_45626867/article/details/121232759

版权

博主分享了在使用Sqoop导入数据时遇到的数据库连接问题，通过排查发现是由于本地主机名问题导致。通过将localhost替换为实际IP，解决了CommunicationsException。文章强调了网络环境在大数据操作中的重要性。

摘要由CSDN通过智能技术生成

问题描述

执行语句bin/sqoop import --connect jdbc:mysql://localhost:3306/gdcmxy --username root --password root --table 2019bigdata --fields-terminated-by '\t' --delete-target-dir --num-mappers 1 --hive-import --hive-database gdcmxy --hive-table 2019bigdata

Error: java.lang.RuntimeException: java.lang.RuntimeException: com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure

在这里插入图片描述

这个该死的问题，看到报错，初步判断主要是数据库连接问题，一开始以为是防火墙没有关，但考虑到之前不是hadoo肯定已经把防火墙关掉了，由此判断应该和防火墙没有关系。

集群环境：

在这里插入图片描述

解决方法：

把执行语句的localhost改为本机的ip地址bin/sqoop import --connect jdbc:mysql://192.168.112.81:3306/gdcmxy --username root --password root --table 2019bigdata --fields-terminated-by '\t' --delete-target-dir --num-mappers 1 --hive-import --hive-database gdcmxy --hive-table 2019bigdata
在这里插入图片描述
成功导入