关于window使用Python上传hdfs文件报错解决

最新推荐文章于 2023-07-14 18:14:00 发布

Da丶熊

最新推荐文章于 2023-07-14 18:14:00 发布

阅读量2.1k

点赞数 1

本文链接：https://blog.csdn.net/w1103031594/article/details/81484379

版权

在从Windows系统使用Python上传文件到HDFS时遇到HTTP连接错误。解决方法是更新本地hosts文件，将Hadoop集群地址映射上去，或者使用SwitchHosts软件进行便捷配置。完成映射后，连接问题得以解决。

摘要由CSDN通过智能技术生成

关于window使用Python上传hdfs文件报错解决

之前一直在服务器上使用Python操作hdfs，一切都很顺利。但是突然转到windows系统上时就出现了http连接错误的报错信息。

代码如下：

Created on 2018年8月7日

测试spark连接hdfs
@author: rnd-002
'''
from hdfs.client import Client
import time
client = Client("http://192.168.1.181:50070")

print(client.list("/"))
print(client.list("/test"))
client.upload('/test','C:/Users/rnd-002/RData/spark_clean/spark_to_hdfs/test.txt')
print(client.list("/test"))

报错信息如下：

urllib3.exceptions.NewConnectionError: <urllib3.connection.HTTPConnection object at 0x000001B2DBDAEDD8>: Failed to establish a new connection: [Errno 11001] getaddrinfo failed

这是因为windows没有识别到hadoop地址信息，所以我们需要修改windows本机的host文件，使其映射到hadoop集群上。

配置截图如下：