windows上使用python hdfs模块操作linux hadoop hdfs

使用虚拟机创建了3个节点服务器，想在本地windows使用python操作hdfs，可以使用安装hdfs模块进行操作

一、安装hdfs

pip install hdfs

二、服务器节点信息

用户名是hadoop

/etc/hosts内容如下

10.10.10.100 master
10.10.10.101 slave01
10.10.10.102 slave02

四、本地配置

把服务器节点信息也配置到Windows本地hosts文件

10.10.10.100 master
10.10.10.101 slave01
10.10.10.102 slave02

五、执行代码

from hdfs import InsecureClient
 

# 上传文件到hdfs
def put_to_hdfs(client, local_path, hdfs_path):
    client.upload(hdfs_path, local_path, cleanup=True)
 

# 返回目录下的文件
def list(client, hdfs_path):
    return client.list(hdfs_path, status=False)
 

client = InsecureClient(url="http://10.10.10.100:9870", user='hadoop', root='/')

put_to_hdfs(client, 'F:\\大数据学习\\hadoop_day2.txt', '/')

print(list(client, '/'))

六、执行结果

执行前

执行后