sqoop远程连接出现的两个小错误

最新推荐文章于 2023-10-25 14:12:03 发布
最新推荐文章于 2023-10-25 14:12:03 发布
阅读量1.9k 收藏 2
点赞数 3
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LES000LIE/article/details/97928426
版权

 sqoop连接MYSQL数据库时出现以下错误：

错误一：

19/07/31 03:56:24 ERROR manager.CatalogQueryManager: Failed to list tables
com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure

Last packet sent to the server was 0 ms ago.
	at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
	at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
	at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
	at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
	at com.mysql.jdbc.Util.handleNewInstance(Util.java:406)
	at com.mysql.jdbc.SQLError.createCommunicationsException(SQLError.java:1074)
	at com.mysql.jdbc.ConnectionImpl.createNewIO(ConnectionImpl.java:2103)
	at com.mysql.jdbc.ConnectionImpl.<init>(ConnectionImpl.java:718)
	at com.mysql.jdbc.JDBC4Connection.<init>(JDBC4Connection.java:46)
	at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
	at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
	at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
	at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
	at com.mysql.jdbc.Util.handleNewInstance(Util.java:406)
	at com.mysql.jdbc.ConnectionImpl.getInstance(ConnectionImpl.java:302)
	at com.mysql.jdbc.NonRegisteringDriver.connect(NonRegisteringDriver.java:282)
	at java.sql.DriverManager.getConnection(DriverManager.java:664)
	at java.sql.DriverManager.getConnection(DriverManager.java:247)
	at org.apache.sqoop.manager.SqlManager.makeConnection(SqlManager.java:904)
	at org.apache.sqoop.manager.GenericJdbcManager.getConnection(GenericJdbcManager.java:59)
	at org.apache.sqoop.manager.CatalogQueryManager.listTables(CatalogQueryManager.java:102)
	at org.apache.sqoop.tool.ListTablesTool.run(ListTablesTool.java:49)
	at org.apache.sqoop.Sqoop.run(Sqoop.java:147)
	at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
	at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:183)
	at org.apache.sqoop.Sqoop.runTool(Sqoop.java:234)
	at org.apache.sqoop.Sqoop.runTool(Sqoop.java:243)
	at org.apache.sqoop.Sqoop.main(Sqoop.java:252)
Caused by: java.net.ConnectException: Connection refused (Connection refused)
	at java.net.PlainSocketImpl.socketConnect(Native Method)
	at java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:350)
	at java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:206)
	at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:188)
	at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392)
	at java.net.Socket.connect(Socket.java:589)
	at java.net.Socket.connect(Socket.java:538)
	at java.net.Socket.<init>(Socket.java:434)
	at java.net.Socket.<init>(Socket.java:244)
	at com.mysql.jdbc.StandardSocketFactory.connect(StandardSocketFactory.java:253)
	at com.mysql.jdbc.MysqlIO.<init>(MysqlIO.java:280)
	at com.mysql.jdbc.ConnectionImpl.createNewIO(ConnectionImpl.java:2026)
	... 21 more
19/07/31 03:56:24 ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.RuntimeException: com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure

 解决办法：由于在这台虚拟机上没有安装mysql，所以使用localhost登录是无效的，于是换用本机ip，出现错误二：

19/07/31 03:57:13 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset.
19/07/31 03:57:14 ERROR manager.CatalogQueryManager: Failed to list databases
java.sql.SQLException: Access denied for user 'root'@'DESKTOP-IOQ3JC7' (using password: YES)
	at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:1055)
	at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:956)
	at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3491)
	at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3423)
	at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:910)
	at com.mysql.jdbc.MysqlIO.secureAuth411(MysqlIO.java:3923)
	at com.mysql.jdbc.MysqlIO.doHandshake(MysqlIO.java:1273)
	at com.mysql.jdbc.ConnectionImpl.createNewIO(ConnectionImpl.java:2031)
	at com.mysql.jdbc.ConnectionImpl.<init>(ConnectionImpl.java:718)
	at com.mysql.jdbc.JDBC4Connection.<init>(JDBC4Connection.java:46)
	at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
	at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
	at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
	at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
	at com.mysql.jdbc.Util.handleNewInstance(Util.java:406)
	at com.mysql.jdbc.ConnectionImpl.getInstance(ConnectionImpl.java:302)
	at com.mysql.jdbc.NonRegisteringDriver.connect(NonRegisteringDriver.java:282)
	at java.sql.DriverManager.getConnection(DriverManager.java:664)
	at java.sql.DriverManager.getConnection(DriverManager.java:247)
	at org.apache.sqoop.manager.SqlManager.makeConnection(SqlManager.java:904)
	at org.apache.sqoop.manager.GenericJdbcManager.getConnection(GenericJdbcManager.java:59)
	at org.apache.sqoop.manager.CatalogQueryManager.listDatabases(CatalogQueryManager.java:57)
	at org.apache.sqoop.tool.ListDatabasesTool.run(ListDatabasesTool.java:49)
	at org.apache.sqoop.Sqoop.run(Sqoop.java:147)
	at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
	at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:183)
	at org.apache.sqoop.Sqoop.runTool(Sqoop.java:234)
	at org.apache.sqoop.Sqoop.runTool(Sqoop.java:243)
	at org.apache.sqoop.Sqoop.main(Sqoop.java:252)
19/07/31 03:57:14 ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.RuntimeException: java.sql.SQLException: Access denied for user 'root'@'DESKTOP-IOQ3JC7' (using password: YES)
java.lang.RuntimeException: java.sql.SQLException: Access denied for user 'root'@'DESKTOP-IOQ3JC7' (using password: YES)
	at org.apache.sqoop.manager.CatalogQueryManager.listDatabases(CatalogQueryManager.java:73)
	at org.apache.sqoop.tool.ListDatabasesTool.run(ListDatabasesTool.java:49)
	at org.apache.sqoop.Sqoop.run(Sqoop.java:147)
	at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
	at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:183)
	at org.apache.sqoop.Sqoop.runTool(Sqoop.java:234)
	at org.apache.sqoop.Sqoop.runTool(Sqoop.java:243)
	at org.apache.sqoop.Sqoop.main(Sqoop.java:252)
Caused by: java.sql.SQLException: Access denied for user 'root'@'DESKTOP-IOQ3JC7' (using password: YES)
	at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:1055)
	at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:956)
	at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3491)
	at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3423)
	at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:910)
	at com.mysql.jdbc.MysqlIO.secureAuth411(MysqlIO.java:3923)
	at com.mysql.jdbc.MysqlIO.doHandshake(MysqlIO.java:1273)
	at com.mysql.jdbc.ConnectionImpl.createNewIO(ConnectionImpl.java:2031)
	at com.mysql.jdbc.ConnectionImpl.<init>(ConnectionImpl.java:718)
	at com.mysql.jdbc.JDBC4Connection.<init>(JDBC4Connection.java:46)
	at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
	at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
	at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
	at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
	at com.mysql.jdbc.Util.handleNewInstance(Util.java:406)
	at com.mysql.jdbc.ConnectionImpl.getInstance(ConnectionImpl.java:302)
	at com.mysql.jdbc.NonRegisteringDriver.connect(NonRegisteringDriver.java:282)
	at java.sql.DriverManager.getConnection(DriverManager.java:664)
	at java.sql.DriverManager.getConnection(DriverManager.java:247)
	at org.apache.sqoop.manager.SqlManager.makeConnection(SqlManager.java:904)
	at org.apache.sqoop.manager.GenericJdbcManager.getConnection(GenericJdbcManager.java:59)
	at org.apache.sqoop.manager.CatalogQueryManager.listDatabases(CatalogQueryManager.java:57)
	... 7 more

出现该错误后，先分析一波，这显示的权限错误，于是便先在navicat里使用本机IP尝试连接，出现的依旧是

Access denied for user 'root'@'DESKTOP-IOQ3JC7' (using password: YES)

原因：没有打开远程连接权限

解决方法：

grant all privileges  on *.* to root@'%' identified by "密码"; //赋权

flush privileges;  //刷新

 

sqoop将mysql数据导入hive中出现问题 java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf
xiaobao5214的博客
11-30 4047
[root@hadoop4 bin]# sqoop create-hive-table  --connect jdbc:mysql://192.168.2.14:3306/mydb --username root --password 123456 --table employee --hive-table employee --fields-terminated-by "\t" Warning:...
sqoop连接不上mysql_sqoop出错,读不了mysql
weixin_29163797的博客
01-19 792
[root@itcast03 lib]# ./sqoop import --connect jdbc:mysql://192.168.1.10:3306/itcast --username root --password 123 --table trade_detail --target-dir '/sqoop/td' --fields-terminated-by '\t'-bash: ./sq...
sqoop连接mysql出现 Communications link failure
菜根谭
03-07 2897
错误Error: java.lang.RuntimeException: java.lang.RuntimeException: com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failureThe last packet sent successfully to the server was
sqoop import 报错Communications link failure
let it go的博客
11-08 3197
1.问题描述        sqoop list-tables 工具正常，但是import 工具有问题。奇怪！！！！ [hadoop@master ~]$ sqoop import --username test --password test --connect jdbc:mysql://172.1.1.96:3306/test -m 1 --delete-target-dir --...
Sqoop知识点（两万字总结）
默主归沙的博客
03-27 1050
一、sqoop概述和安装 1.1 sqoop的简介 1. sqoop是apache基金会的一个顶级项目（已经退役，） 2. sqoop是一款可以将数据在RDBMS和Hadoop生态中导入导出的项目 3. sqoop最后一个版本是1.4.7 apache有一个专门管理退役软件的仓库。 退役原因： 1. 软件开发的不够好，弃用了。 2. 没什么提升空间了，已经趋近于完美了，不再更新了，apache对这样的项目，如果发现一两年左右都没有更新时，就会开会决定移动到退役仓库中。 1.2
大数据学习21：sqoop 语法和常用命令和小案例
ggwxk1990的博客
10-11 1093
1.1.0 sqoop 语法和常用命令 2.1.0 sqoop 典型用法 3.1.0 sqoop 的一个小案例 4.1.0 sqoop 的分区表导入导出======================================= 1.1.0 sqoop 语法和常用命令 hive导入参数 　　--hive-home 重写$HIVE_HOME 　　--hive-import
sqoop java开发_sqoop架构原理与操作
weixin_33323907的博客
02-16 774
1、sqoop使用在学习sqoop使用之前，我们需要查看sqoop都是可以完成什么任务，通过键入：sqoop help，我们就可以看到sqoop可以提供的服务。在项目中，我们主要使用的是sqoop import服务，在使用的过程中，我们还会经历很多定制修改，讲逐一讲解。1.1将数据从数据库导入到hadoop中导入指令：sqoop import –connect jdbc:mysql://hostn...
sqoop和flume简单安装配置使用
最新发布
aj_shang的博客
10-25 1628
sqoop和flume简单配置安装使用
hadoop2.6+hive+oozie+sqoop+hue集群搭建
Chao_Qing的专栏
01-20 1377
hadoop集群搭建一、 环境说明二、 环境搭建1. Linux系统准备2. 安装jdk8并设置环境变量3. 安装mysql4. 安装hadoop5. 安装hive6. 安装sqoop7. 安装oozie8. 安装hue9. 结果展示10. 启动集群脚本 一、 环境说明 我使用的是笔记本电脑，一台8G内存，一台4G内存，然后在笔记本上搭建虚拟机centos7.0当作搭建hadoop的机器，最终的结...
com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure
qq_44463295的博客
01-05 252
jdbc连接错误，今天用sqoop从mysql往hdfs里面import数据，一直报这个错误Communications link failure， 但是使用sqoop命令查看mysql中的databases却能正确查看 最后总结为，这个错误为MySQL的配置问题，MySQL5中默认连接时间为8h,一旦超过这个时间，mysql5就会关闭。 但是在我们的mysql中的连接池中仍存在合法的connection， 修改方法： linux下配置文件为/etc/my.cnf 添加一行wait_t...
sqoop从mysql导数据到hive报错：Caused by: com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communicat...
weixin_30763397的博客
09-11 1539
背景 使用sqoop从mysql导数据到hive，从本地服务器是可以访问mysql的（本地服务器是hadoop集群的一个datanode），但是sqoop导数据的时候依然连接不上mysql 报错如下： 从报错可以看出，是数据库连接失败，很常见的问题，但是从本地是可以直连mysql的。 因为sqoop导数据的时候，默认会启动4个map task，这4个map task会随机启动在不动的d...
mysql link fail_MySql的Communications link failure解决办法
weixin_32942557的博客
01-19 493
这两天在日志中看到关于数据库报的异常：com.MySQL.jdbc.exceptions.jdbc4.CommunicationsException:Communications link failure Last packet sent to the server was X ms ago使用Connector/J连接MySQL数据库，程序运行较长时间后就会报这个错误，有时错误还会提示你修改wa...
sqoop com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failureq
weixin_39150719的博客
10-16 690
hadoop@hadoop-virtual-machine:/usr/local/sqoop$ bin/sqoop list-databases --connect jdbc:mysql://hadoop-virtual-machine:3306/ --username root --pass word XXXXXX 报错误的是： 19/10/16 16:07:04 ERROR manager.C...
sqoop链接问题 以及脚本遇到的问题
胡八一的博客
07-14 540
sqoop链接问题 以及脚本遇到的问题
sqoop连接mysql数据库导入导出数据Communications link failure错误解决
weixin_45949840的博客
05-22 1890
在将数据从hive存入mysql或者从hdfs存入mysql时出现了如下的错误： ERROR manager.CatalogQueryManager: Failed to list databases com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure The last packet successfully received from the server was 194 millisec
ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.RuntimeException: java.sql.SQLException
xiaoxionghanhan的博客
12-21 3473
执行命令 sqoop list-databases --connect jdbc:mysql://hadoop01:3306 --username root --password ok 报错信息如下 20/12/21 11:11:26 ERROR manager.CatalogQueryManager: Failed to list databases java.sql.SQLException: Your password has expired. To log in you must change i
Sqoop常见报错及解决方式
清平乐的技术专栏
07-07 6135
1.java.lang.RuntimeException: Could not load db driver class: com.mysql.jdbc.Driver 原因：[SQOOP_HOME]/lib/下缺少mysql驱动包 2.Caused by: java.lang.RuntimeException: Can’t parse input data: '800 1 620025 塑料油箱 '；java.io.IOException: Can’t export data, please check
sqoop mysql 拒绝连接_Sqoop拒绝连接错误
05-27
Sqoop拒绝连接错误可能有多种原因，下面列出一些可能的解决方案： 1. 检查MySQL服务器是否已启动并正在监听正确的端口（默认端口号为3306）。 2. 确保MySQL服务器已配置为允许远程连接，可以通过修改MySQL配置文件（my.cnf）来实现。将“bind-address”设置为0.0.0.0，以允许所有IP地址的远程连接。 3. 确保使用正确的用户名和密码进行连接，并检查是否具有足够的权限来执行所需的操作。可以通过使用以下命令来测试连接： $ mysql -h <mysql_server_ip> -u <username> -p 4. 如果使用的是防火墙，确保已打开正确的端口（默认为3306）。 5. 如果MySQL服务器正在运行于非标准端口，则需要在Sqoop命令中使用“--connect”参数指定正确的端口号。 6. 确保使用的是正确的JDBC驱动程序。Sqoop支持多种JDBC驱动程序，因此需要使用与MySQL版本兼容的驱动程序。 希望以上解决方案能够帮助你解决Sqoop拒绝连接错误。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值