python-snakebite

更多信息https://blue-shadow.top/

附书代码Github工程:https://github.com/Shadow-Hunter-X

Python-Snakebite库

Snakebite是由Spotify创建的python包, 它提供了python客户端库,运行以编程方式从Python应用程序访问HDFS。客户端库使用 protobuf 消息直接与 NameNode 通信。Snakebite还包括一个基于客户端库的 HDFS 的命令行界面。

本节介绍如何安装和配置SnakeBite包。对Snakebite的客户端库进行了详细的解释, 其中有多个示例, Snakebite的内置CLI被作为python非必要hdfs命令工具而介绍。

安装

Snakebite目前只支持Python2,需要Python-protobuf最低版本为2.4.1;python3目前还不支持。Snakebite通过PyPI进行分发，可以使用pip进行安装:

$ pip install snakebite

客户端库

客户端库是用 Python 编写的, 使用 protobuf 消息, 并实现 Hadoop RPC 协议来与 NameNode 通信。这使得 Python 应用程序可以直接与 HDFS 通信, 而不必对 HDFS dfs 进行系统调用。

列举目录信息

• Example 1-1.python/HDFS/list_directory.py
  使用Snakebite客户端列举在HDFS根目录下的信息:

from snakebite.client import Client
client = Client(