idea的big data tool 连接不上HDFS所有问题汇总:

本文档详细介绍了在Windows上配置Hadoop环境时可能会遇到的问题及其解决方案,包括设置HADOOP_HOME环境变量,确保winutils的正确放置,配置Hadoop环境变量,处理读取操作不支持和连接超时的错误。通过这些步骤,读者可以解决Hadoop在Windows上的运行问题。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1.On Windows you should have HADOOP_HOME environment variable defined or Java property hadoop.home.dir. Please, refer to Hadoop Wiki for more details

解决方案:

2.Unable to find native drivers in HADOOP_HOME. Please, refer to Hadoop Wiki for more details.

解决方案:

第一步:

在网上下载好hadoop的压缩包,解压在自己选定的目录

地址:https://archive.apache.org/dist/hadoop/common/

第二步:

解压后打开目录,把原有的bin文件改名为bin_apk

第三步:

在如下链接中下载相对应的winutils包,下载好后把包下的bin文件复制到之前解压的hadoop文件下

GitHub - steveloughran/winutils: Windows binaries for Hadoop versions (built from the git commit ID used for the ASF relase)

 并复制一份bin目录下的hadoop.dll放到C:\Windows\System32下。

第四步:

在hadoop的etc下的hadoop目录下的hadoop-env.cmd文档下配置

如何查询自己的jdk目录:执行java -verbose命令自行查询

使用命令

第五步:

配置jdk和hadoop的环境变量:

如图所示:

配置HADOOP_HOME

配置path:

 

3.Operation category READ is not supported in state standby

出现当前情况的意思是,你所连接的节点hdfs的那台机器是待机状态的,所以不支持,要在状态为active的节点中连接才会成功。

解决方案:

把ip地址改为Active的节点的ip地址就可以了

4.Timeout(10000) during refreshing connection on HDFS

一般出现这种情况是节点的防火墙没有关,在节点上把防火墙关了就可以了

systemctl stop firewalld 

5.连接成功:

      

 

评论 10
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值