Hadoop YARN API Python 客户端教程
1. 项目的目录结构及介绍
hadoop-yarn-api-python-client/
├── bin/
│ └── yarn_client
├── docs/
│ └── ...
├── yarn_api_client/
│ ├── __init__.py
│ ├── application_master.py
│ ├── history_server.py
│ ├── node_manager.py
│ └── resource_manager.py
├── tests/
│ └── ...
├── .gitignore
├── LICENSE
├── README.md
├── requirements.txt
└── setup.py
bin/
: 包含CLI工具yarn_client
。docs/
: 包含项目的文档文件。yarn_api_client/
: 包含主要的Python模块,如application_master.py
,history_server.py
,node_manager.py
, 和resource_manager.py
。tests/
: 包含测试文件。.gitignore
: Git忽略文件。LICENSE
: 项目许可证。README.md
: 项目说明文档。requirements.txt
: 项目依赖文件。setup.py
: 项目安装脚本。
2. 项目的启动文件介绍
项目的启动文件位于 bin/
目录下,名为 yarn_client
。这个文件是一个CLI工具,用于与Hadoop YARN API进行交互。
使用方法
bin/yarn_client --help
或者
python -m yarn_api_client --help
3. 项目的配置文件介绍
项目没有明确的配置文件,但可以通过环境变量或直接在代码中设置参数来配置。例如:
YARN_CONF_DIR
: YARN配置目录。HADOOP_CONF_DIR
: Hadoop配置目录。
示例
from yarn_api_client import ApplicationMaster
am = ApplicationMaster('https://127.0.0.1:5678')
app_information = am.application_information('application_id')
在这个示例中,我们通过 ApplicationMaster
类与YARN API进行交互,并获取应用程序的信息。