python访问hdfs的几种方式

一、python库

hdfs库

pip install hdfs

只可以使用hdfs的http端口（通常是50070），不支持rpc端口（9000或8020）

需要在启动hdfs节点的时候配置：

使用也很方便：

from hdfs import *
fs = InsecureClient(hdfs_url, root=hdfs_root, user=hdfs_proxy,timeout=hdfs_timeout)
fs_folders_list = fs.list(hdfs_root)

2.2.2的文档：https://media.readthedocs.org/pdf/hdfscli/latest/hdfscli.pdf

 

snakebite库

O’Reilly的书Hadoop with Python推荐的库，可以用rpc端口，但是只可以下载，（截止到20181225）没有上传的接口

使用：返回的是一个generator

from snakebite.client import Client
client = Client("localhost", 8020, use_trash=False)
for x in client.ls(['/']):
    print x

snakebite的github：https://github.com/spotify/sn