python通过pyhdfs(或hdfs)异常问题处理

最新推荐文章于 2023-03-04 17:52:26 发布
最新推荐文章于 2023-03-04 17:52:26 发布
阅读量1.5k 收藏 2
点赞数 2
分类专栏： linux python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Tramp_fish/article/details/111880036
版权

requests.exceptions.ConnectionError: HTTPConnectionPool(host='16a187bf3b55', port=50075): Max retries exceeded with url: /webhdfs/v1/user/test06?op=CREATE&user.name=demo&namenoderpcaddress=namenode:8020&createflag=&createparent=true&overwrite=false (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x000001F47FC42BC8>: Failed to establish a new connection: [Errno 11001] getaddrinfo failed'))

通过python上传文件到hdfs,无法上传,报上述错误

问题原因 :出现host='16a187bf3b55', port=50075 表示客户端已经连接成功,但是无法解析域名

通过在python程序运行的机器上修改hosts文件

添加对应连接的ip 以及相关联的别名

如

119.10.1.15    16a187bf3b55  namenode

Tramp_fish
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
使用python-pyhdfs连接hdfs时报错
guoguopython的博客
04-03 3296
ConnectionError: HTTPConnectionPool(host='a', port=50075): Max retries exceeded with url: /webhdfs/v1/logs/pv?op=OPEN&user.name=root&namenoderpcaddress=hdfscluster&offset=0 (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x0000
pyhdfs函数
Vulpes corsac
09-23 1334
>>> import pyhdfs >>> fs=pyhdfs.HdfsClient(hosts="***") #get_active_namenode()查看集合活跃可用的namenode节点 >>> fs.get_active_namenode() '***:50070' >>> fs=pyhdfs.HdfsCl...
Hadoop（4）-Python借助pyhdfs对Hadoop的HDFS分布式文件系统的全部操作详细实例演示
redrose2100的博客
06-15 4272
1、安装 执行如下命令即可安装 pip install pyhdfs 2、pyhdfs与HDFS常用的交互操作 在HDFS上指定目录下创建一个文件夹，然后查看此文件夹是否存在 import pyhdfs if __name__=="__main__": fs=pyhdfs.HdfsClient(hosts="192.168.1.204:50070",user_name="root") fs.mkdirs("/test_01") file_or_dirs=fs.listdir(
修复pyhdfs无法获取hadoop文件的问题
天灵狐的小岛
05-30 3378
1.pyhdfs命令import pyhdfs fs=pyhdfs.HdfsClient(hosts="172.10.10.2") f=fs.open("/1.txt")2.报错Traceback (most recent call last): File "&lt;pyshell#2&gt;", line 1, in &lt;module&gt; f=fs.open("/test/1...
requests.exceptions.ConnectionError:HTTPSConnectionPool(host
热门推荐
风华浪浪的博客
07-01 11万+
requests.exceptions.ConnectionError: HTTPSConnectionPool(host='127.0.0.1', port=443): Max retries exceeded with url: /?cdn=nohost (Caused by NewConnectionError('<urllib3.connection.VerifiedHTTP...
pyhdfs:Python HDFS客户端
05-25
Python HDFS客户端 由于全球需求从Python的谈话HDFS。 用法 该库为提供了Python客户端。 通过传入两个NameNode来支持NameNode HA。 响应作为漂亮的Python类返回，并且任何失败的操作都将引发与Java异常匹配的...
完美解决python针对hdfs上传和下载的问题
12-17
当我们使用python的hdfs包进行上传和下载文件的时候，总会出现如下问题 requests.packages.urllib3.exceptions.NewConnectionError:<requests>: Failed to establish a new connection: [Errno -2] Name or service...
python读取hdfs上的parquet文件方式
01-20
在使用python做大数据和机器学习处理过程中，首先需要读取hdfs数据，对于常用格式数据一般比较容易读取，parquet略微特殊。从hdfs上使用python获取parquet格式数据的方法(当然也可以先把文件拉到本地再读取也可以)：...
Python API 操作Hadoop hdfs详解
09-16
主要介绍了Python API 操作Hadoop hdfs详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
python上传本地文件到远程hdfs_python使用hdfs包远程上传文件出错原因及解决措施...
weixin_42139302的博客
01-15 579
错误提示ConnectionError: HTTPConnectionPool(host='slave2', port=50075):Max retries exceeded with url: /webhdfs/v1/home/temp/temp1/test.py?op=OPEN&user.name=root&namenoderpcaddress=master:9000&...
python爬虫 requests异常requests.exceptions.ConnectionError: HTTPSConnectionPool Max retries exceeded
小姑仔的博客
06-09 2096
错误提示： requests.exceptions.ConnectionError: HTTPSConnectionPool(host='baike.baidu.com', port=443): Max retries exceeded with url: https://baike.baidu.com/item/%E5%88%98%E5%BE%B7%E5%8D%8E/114923 (Caused by NewConnectionError('<urllib3.connection.Verifie
搭建hadoop集群的hdfs分布式文件系统报错解决
weixin_48960305的博客
08-26 429
1. 格式化集群时，报错原因 - 当前⽤户使⽤不当 - /etc/hosts⾥的映射关系填写错误 - 免密登录认证异常 - jdk环境变量配置错误 - 防⽕墙没有关闭 2. namenode进程没有启动的原因： - 当前⽤户使⽤不当 - 重新格式化时，忘记删除${hadoop.tmp.dir}⽬录下的内容 - ⽹络震荡，造成edit⽇志⽂件的事务ID序号不连续 3. datanode出现问题的原因 - /etc/hosts⾥的映射关系填写错误 - 免密登录异常 - 重新格式化时，忘记删
hdfs分布式搭建出现的常见错误问题
thyyyyyyy的博客
10-10 1177
hdfs三种模式搭建步骤 hadoop集群启动但不能访问50070 分为两种情况 1.在虚拟机内linux系统中浏览器不能访问， 首先查看自己防火墙是否关闭 service iptables status 若未关防火墙 chkconfig iptables off 必须重启linux系统后检查防火墙状态 查看 vim /etc/hosts文件，看是否修改成功或相对应，最后浏览...
Hadoop无法进行hdfs的问题[已解决]
欢迎光临~
12-02 3256
很久没打开集群，上课需要连接时start-all.sh后，显示连接被拒绝（忘记截图了，报错信息是这样） ls: Call From hadoop01/192.168.60.128 to hadoop01:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused
大数据之hadoop启动失败问题集锦
Gavin
03-04 1838
启动时会提示形如 “DBLab-XMU: starting namenode, logging to /usr/local/hadoop/logs/hadoop-hadoop-namenode-DBLab-XMU.out”，其中 DBLab-XMU 对应你的机器名，但其实启动日志信息是记录在 /usr/local/hadoop/logs/hadoop-hadoop-namenode-DBLab-XMU.log 中，所以应该查看这个后缀为 .log 的文件；
利用PYTHON操作hadoop中的hdfs 报错retries exceeded with url: /webhdfs/v1/
xunchen2288的博客
07-17 1237
1.搭建好分布式hadoop后续的操作，可能都是跟JAVA有关系。就想试试能否用PYTHON达到同样的效果。 2.模块包的选择，首先找到HDFS3模块跟HDFS模块，但是通过4个小时的查找无法连上服务端，最终放弃了2个模块，最后找到了PYHDFS import pyhdfs fs = pyhdfs.HdfsClient(hosts='192.168.253.130:9870', user_name='root') #hadoop 已经配置完毕 通过sbin/start-all.sh启动集群 .
使用python中的pyhdfs连接HDFS进行操作——pyhdfs使用指导(附代码及运行结果)
知行合一
07-30 2万+
【原创】pyhdfs使用指导——附代码及运行结果 码字不易，转载请注明出处，谢谢！ hdfs官方文档：http://pyhdfs.readthedocs.io/en/latest/pyhdfs.html#pyhdfs.HdfsClient   1.HdfsClient类 pyhdfs中的HdfsClient类非常关键。使用这个类可以实现连接HDFS的Namenode，对HDFS上的文件进...
HDFS常见的问题和处理方法积累
欲问君有几多愁的博客
08-14 6970
Hadoop常见问题与解决办法问题1：reduce预处理阶段shuffle时获取已完成的map的输出失败次数超过上限问题描述：问题剖析：解决方案:问题2：Too many fetch-failures问题描述：问题剖析：解决方案:问题3：处理MR速度特别的慢问题描述：问题剖析：解决方案:问题4：能够启动datanode，但无法访问，也无法结束问题描述：问题剖析：解决方案:问题5：节点断联问题描述：...
pyhdfs 连接hdfs
最新发布
05-13
要使用Python连接到HDFS，可以使用`pyhdfs`模块。首先需要确保安装了`pyhdfs`模块，可以使用以下命令进行安装： ``` pip install pyhdfs ``` 接下来，可以使用以下代码来连接到HDFS： ```python from pyhdfs import HdfsClient # 连接到HDFS client = HdfsClient(hosts='localhost:9000') # 列出HDFS根目录下的所有文件和目录 file_list = client.listdir('/') print(file_list) ``` 在连接时，需要指定HDFS的主机和端口号。在上面的例子中，我们假设HDFS主机在本地，端口号为9000。然后，我们使用`HdfsClient`类来连接到HDFS，并使用`listdir`方法列出根目录下的所有文件和目录。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值