YARN和HDFS的调用方式汇总

最新推荐文章于 2024-08-20 07:30:00 发布

asin929

最新推荐文章于 2024-08-20 07:30:00 发布

阅读量3.4k

点赞数 1

分类专栏： Hadoop HDFS 文章标签： mapreduce hdfs api yarn 调用

本文链接：https://blog.csdn.net/u012948976/article/details/49808813

版权

本文详细总结了调用YARN和HDFS的各种方法，包括命令行、JAVA API、REST API以及使用Oozie。对于YARN，介绍了通过命令行、JAVA API和REST APIs提交作业以及通过Oozie代理提交作业。在HDFS操作方面，概述了命令行、JAVA API和WebHDFS REST API的使用，涵盖了文件的增删改查和权限管理。

摘要由CSDN通过智能技术生成

YARN和HDFS的调用方式汇总

总结涉及到运行YARN和HDFS的几种方式，包括使用命令行，JAVA API，REST API，oozie等．

调用YARN的几种方式

1. 命令行方式

hadoop jar wordcount.jar hdfs_input hdfs_output

2. JAVA API

hadoop API docs包含了hadoop的全部包，针对YARN的API也包含其中。

3. 使用YARN REST APIS

通过YARN(MapReduceV2)提供的api，用户可以自定义提交作业，查看作业状态等，参见Hadoop YARN - Introduction to the web services REST API’s．

以查看某个job运行状态为例，参见Cluster Application State API．用户查询id为＂application_1399397633663_0003＂的job的运行状态时，发送的Request和收到的Response如下，

HTTP Request

GET http://<rm http address:port>/ws/v1/cluster/apps/application_1399397633663_0003/state

Response Header:

HTTP/1.1 200 OK
Content-Type: application/json
Transfer-Encoding: chunked
Server: Jetty(6.1.26)

Response Body:
```
{
     "state":"ACCEPTED"
}
```

4. 使用oozie

4.1 使用oozie代理提交作业

使用oozie来提交hadoop作业前，需配置hadoop的core-site.xml文件，如下所示，参见－－Oozie Quick Start．

    <!-- OOZIE -->
    <property>
        <name>hadoop.proxyuser.[OOZIE_SERVER_USER].hosts</name>
        <value>[OOZIE_SERVER_HOSTNAME]</value>
    </property>
    <property>
        <name>hadoop.proxyuser.[OOZIE_SERVER_USER].groups</name>
        <value>[USER_GROUPS_THAT_ALLOW_IMPERSONATION]</value>
    </property>