sqoop从mysql导入数据到hdfs报错：Connection refused 无法连接10020端口

最新推荐文章于 2024-06-19 10:47:30 发布
最新推荐文章于 2024-06-19 10:47:30 发布
阅读量2.9k 收藏 8
点赞数 2
分类专栏： 报错
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/BornZhu/article/details/80203665
版权
在尝试使用sqoop从mysql导入数据到hdfs时遇到'Connection refused'错误，原因是DataNode无法访问MapReduce JobHistory Server的10020端口。虽然数据已成功导入，但为解决问题，需要修改$HADOOP_HOME/etc/hadoop/mapred-site.xml，添加相关配置，并启动MapReduce JobHistory Server服务。
摘要由CSDN通过智能技术生成

sqoop从mysql导入数据到hdfs，报错

java.net.ConnectException: Call From bigdata001/192.168.254.128 to bigdata001:10020 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused


该错误主要是由于DataNode需要访问MapReduce JobHistory Server，如果没有修改相关配置文件，就会报错，但是查看了导入结果，已经成功导入，并不影响导入结果，但还是要修改一下相关的配置文件。

修改$HADOOP_HOME/etc/hadoop下的mapred-site.xml，加入

<property>  
   <name>mapreduce.jobhistory.address</name>
最低0.47元/天 解锁文章
BornZhu
关注
  • 2
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
sqoop mysql 拒绝连接_sqoop从mysql导入hdfs数据过程遇到的问题
weixin_34809240的博客
01-30 721
1.由于没启动dfs报错laocalhost:9000端口拒绝访问:使用jps指令查看集群的的启动状态发现时namenode,datenode未启动使用start-dfs.sh 启动hdfs2.java.lang.IllegalArgumentException: The ServiceName: mapreduce-shuffle set in yarn.nodemanager.aux-se...
sqoop mysql 拒绝连接_Sqoop 连接MySQL报错：拒绝连接 (Connection refused)
weixin_39849671的博客
01-19 3404
MarsJ老师，看你的Sqoop视频，按照你视频里的步骤一步步实现的，但是准备用sqoop连接mysql时出现错误。困惑了很久，还请老师解惑，给予指导。@MarsJlog：[root@bigdata opt]# ls -lt /opt/sqoop-1.4.6/lib/mysql-connector-java-5.1.45-bin.jar-rwxrwxrwx. 1 root root 999810 ...
启动 HDFS 出现问题connect to host localhost port 22: Connection refused
最新发布
j18329567540的博客
06-19 403
这个错误通常与 SSH 配置有关，因为 Hadoop 依赖于 SSH 来管理分布式节点之间的通信。为了让 Hadoop 能够无密码地使用 SSH 进行节点间通信，需要配置无密码登录。首先，确保在所有节点（包括伪分布式模式下的本地节点）安装并启动 SSH 服务。在配置好 SSH 服务并确保无密码登录后，再次尝试启动 HDFS。确保 Hadoop 可以使用 SSH 来启动和停止 HDFS。如果能够成功登录而不需要密码，说明无密码登录配置成功。3. 配置 Hadoop 的 SSH。4. 再次尝试启动 HDFS。
sqoop从MySQL发送数据到hdfs拒绝连接
enjoy_zm的博客
05-18 577
sqoopa从MySQL发送数据到hdfs拒绝连接 报错：java.net.ConnectException: Call From hadoop1/192.168.222.131 to hadoop3:8032 failed on connection exception: java.net.ConnectException: 拒绝连接; For more details see: 参考：http://wiki.apache.org/hadoop/ConnectionRefused 原因及
HDFS报错：Connection refused！
A coder of life
01-27 2809
在华为大数据平台FI C50上查看hdfs上的数据报错（hdfs dfs -ls /）： 自己在装其他组件的过程中，重启过多次服务，是不是因为这个原因，于是把namenode节点HDFS服务重启了，重启之后问题解决。
hadoop中sqoop导入到hdfs报错
m0_64332220的博客
06-01 328
sqoop中mysql导入hdfs时jdk报错
2、sqoop导入（RMDB-mysql、sybase到HDFS-hive）
05-29
在本主题中，我们将深入探讨 Sqoop 的导入功能，特别是如何将数据从 MySQL 和 Sybase 数据库导入到 HDFS，并进一步加载到 Hive 表中。 ### 一、Sqoop 导入介绍 1. **语法结构**： Sqoop 导入数据的基本语法如下：...
sqoop从mysql中导入数据到parquet格式的hive中
07-07
sqoop导入数据到hive
yinian_hive_increase_sqoop:sqoop从mysql同步数据到hive
04-29
【标题】"yinian_hive_increase_sqoop:sqoop从mysql同步数据到hive" 描述了一种使用Apache Sqoop工具将数据从MySQL数据库高效地导入到Hadoop的Hive数据仓库的过程。这个过程在大数据处理中至关重要，因为它允许用户...
sqoop导入数据到hdfs路径
11-08
### Sqoop导入数据到HDFS路径详解 #### 一、Sqoop简介 ...通过以上详细解析和说明，我们不仅了解了如何使用Sqoop将数据从MySQL导入到HDFS中，还学习了一些高级用法和注意事项，这对于实际操作中解决问题非常有帮助。
3、Sqoop导出(HDFS到RMDB-mysql)
05-29
在本文中，我们将深入探讨如何使用Sqoop将数据从HDFS（Hadoop分布式文件系统）导出到MySQL数据库，这属于ETL（提取、转换、加载）过程的一部分。 **一、Sqoop导出介绍** Sqoop提供了三种不同的导出模式来将HDFS中...
JavaAPI操作HDFS文件系统报错，Connection refused
w_j_r的博客
07-30 2129
原料：客户端WIN10，IDAE；服务端CentOS6.9； 在WIN10系统下使用IDEA操作部HDFS系统时报错java.net.ConnectException:Connection refused:no，我们要首先检查以下设置是否正确（具体每一步不正确的解决方案在后边）： 1.虚拟机的防火墙需要关闭 2.虚拟机和物理机需要互相ping通。 3.虚拟机HDFS的Hadoop目录下的e......
sqoop从Mysql往HDFS导数据失败
xxl0769的博客
12-20 1419
脚本没问题的情况下 1.看sqoop是否能连上数据库 2.看连接的数据库IP、密码、端口是否正确
使用sqoop将mysql 数据导入hdfs时各种报错
linz的博客
09-16 2910
信息 18/06/29 10:45:08 ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.RuntimeException: java.lang.RuntimeException: java.sql.SQLException: The connection property 'zeroDateTimeBehavior' ac...
原创：本机的sts或者idea执行MR代码访问虚拟机的hdfs问题（Connection refused、Permission denied）、磁盘占用
11-12 442
1、本机连接虚拟机的hdfs问题： 1）问题描述：Exception in thread "main" java.net.ConnectException: Call From WDR-20180305RKR/10.25.187.25 to ubuntu:9000 failed on connection exception: java.net.ConnectException: Connection refused: no further information; For more details s.
ERROR:格式化hdfs时出现connection-refused
LzwGlory的专栏
01-31 788
解决方法：  (先确保你的每个节点网络设置中 勾选了 Available to all users)  重点来了!!!——> 先用./zkServer.sh start 启动各个zookeeper，再用./ Hadoop-daemon.sh start journalnode启动各个NodeName上的 JournalNode进程。然后再进行格式化即可。 问题描述： Re-form
在HDFS中创建目录失败链接失败——connection refused
weixin_43999048的博客
04-30 3160
问题描述： 今天我启动了dfs和yarn后想HDFS上创建/tmp 我的代码是 hadoop fs -mkdir /tmp 结果是 从上面的图片我们可以看出没有namenode 希望能帮助到一些人吧 解决方法： 1.先停止HDFS相关的所有的进程 关停指令 stop-all.sh 2.需要做一次格式化指令：hdfs namenode -format 3.启动HDFS start-all...
使用Sqoop从Mysql导入数据到HDFS
本资源主要介绍了如何使用Sqoop从MySQL数据库导入数据到Hadoop的HDFS中，包括全量导入、基于查询的导入以及导入指定列的操作。 Sqoop的工作原理是通过将用户的导入或导出指令转换为MapReduce任务来执行。它定制了...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值