一、python库
hdfs库
pip install hdfs
只可以使用hdfs的http端口(通常是50070),不支持rpc端口(9000或8020)
需要在启动hdfs节点的时候配置:
使用也很方便:
from hdfs import * fs = InsecureClient(hdfs_url, root=hdfs_root, user=hdfs_proxy,timeout=hdfs_timeout) fs_folders_list = fs.list(hdfs_root)
2.2.2的文档:https://media.readthedocs.org/pdf/hdfscli/latest/hdfscli.pdf
snakebite库
O’Reilly的书Hadoop with Python推荐的库,可以用rpc端口,但是只可以下载,(截止到20181225)没有上传的接口
使用:返回的是一个generator
from snakebite.client import Client client = Client("localhost", 8020, use_trash=False) for x in client.ls(['/']): print x
snakebite的github:https://github.com/spotify/sn