Hadoop YARN API Python 客户端教程

Hadoop YARN API Python 客户端教程

hadoop-yarn-api-python-clientPython client for Hadoop® YARN API项目地址:https://gitcode.com/gh_mirrors/ha/hadoop-yarn-api-python-client

1. 项目的目录结构及介绍

hadoop-yarn-api-python-client/
├── bin/
│   └── yarn_client
├── docs/
│   └── ...
├── yarn_api_client/
│   ├── __init__.py
│   ├── application_master.py
│   ├── history_server.py
│   ├── node_manager.py
│   └── resource_manager.py
├── tests/
│   └── ...
├── .gitignore
├── LICENSE
├── README.md
├── requirements.txt
└── setup.py

• bin/: 包含CLI工具 yarn_client。
• docs/: 包含项目的文档文件。
• yarn_api_client/: 包含主要的Python模块，如 application_master.py, history_server.py, node_manager.py, 和 resource_manager.py。
• tests/: 包含测试文件。
• .gitignore: Git忽略文件。
• LICENSE: 项目许可证。
• README.md: 项目说明文档。
• requirements.txt: 项目依赖文件。
• setup.py: 项目安装脚本。

2. 项目的启动文件介绍

项目的启动文件位于 bin/ 目录下，名为 yarn_client。这个文件是一个CLI工具，用于与Hadoop YARN API进行交互。

使用方法

bin/yarn_client --help

或者

python -m yarn_api_client --help

3. 项目的配置文件介绍

项目没有明确的配置文件，但可以通过环境变量或直接在代码中设置参数来配置。例如：

• YARN_CONF_DIR: YARN配置目录。
• HADOOP_CONF_DIR: Hadoop配置目录。

示例

from yarn_api_client import ApplicationMaster

am = ApplicationMaster('https://127.0.0.1:5678')
app_information = am.application_information('application_id')

在这个示例中，我们通过 ApplicationMaster 类与YARN API进行交互，并获取应用程序的信息。

hadoop-yarn-api-python-clientPython client for Hadoop® YARN API项目地址:https://gitcode.com/gh_mirrors/ha/hadoop-yarn-api-python-client