使用pyhdfs实现 Hdfs 客户端

最新推荐文章于 2024-03-19 15:01:36 发布

Axel_Fr

最新推荐文章于 2024-03-19 15:01:36 发布

阅读量611

点赞数

文章标签： hadoop hdfs python

本文链接：https://blog.csdn.net/axel_fran/article/details/111148802

版权

# 以下代码拷贝直接使用

# _*_ coding= UTF-8 _*_

# python 3.8
# console下载 pip install pyhdfs

import pyhdfs
import sys

client = pyhdfs.HdfsClient(hosts="192.168.175.11,50070",user_name="root") # 注意连接端口号使用逗号，不是分号
# client = pyhdfs.HdfsClient(hosts="192.168.175.11,9000",user_name="root")
# 返回可用的namenode节点
print(client.get_active_namenode())

print(client.get_home_directory())

print(client.listdir("/"))

#with client.open("/core-site.xml") as f:
#print(f.read())

#copy_from_local("目标地址"，“源地址”) 目标地址不要使用目录名，添加上源文件的名字。否则会出现 permissions的错误

client.copy_from_local("/T2EXE.log", "C:/T2EXE.log")