python操作爬虫结果文件上传到hdfs

学习3人组

已于 2024-11-09 17:32:52 修改

阅读量1.2k

点赞数 10

文章标签： python hdfs 开发语言

于 2024-11-09 16:02:54 首次发布

本文链接：https://blog.csdn.net/Climbman/article/details/143646486

版权

在这里插入图片描述

配置好HADOOP
在这里插入图片描述

用python连接到HDFS，创建目录失败

from hdfs.client import Client
HDFSHOST = "http://192.168.216.132:50070"
client = Client(HDFSHOST)
# 返回目录下的文件
print(client.list('/'))
client.makedirs('/tmp',permission=755)

报错信息

['data']
Traceback (most recent call last):
  File "C:/Users/Administrator/PycharmProjects/pythonProject/main.py", line 6, in <module>
    client.makedirs('/tmp',permission=755)
  File "D:\yz\Anaconda3\lib\site-packages\hdfs\client.py", line 1029, in makedirs
    self._mkdirs(hdfs_path, permission=permission)
  File "D:\yz\Anaconda3\lib\site-packages\hdfs\client.py", line 118, in api_handler
    raise err
hdfs.util.HdfsError: Permission denied: user=dr.who, access=WRITE, inode="/":root:supergroup:drwxr-xr-x

能正常浏览目录，但不能创建或上传报错
Permission denied: user=dr.who, access=WRITE, inode=“/”:root:supergroup:drwxr-xr-x
排查原因是因为当前用户缺少相关权限。
解决方法：进入/hadoop/etc/hadoop目录,使用vim命令编辑core-site.xml文件，在文件中加入下方代码：

<property>
    <name>hadoop.http.staticuser.user</name>
    <value>你的用户名</value>
</property>

保存后退出，重新

最低0.47元/天解锁文章