轻松入门大数据 第5章 入门到进阶：玩转资源管理系统YARN 5.1 Hadoop之YARN 5.1.8 提交官方自带案例到YARN上运行并认识YARN UI界面

轻松入门大数据

第5章 入门到进阶：玩转资源管理系统YARN

5.1 Hadoop之YARN

1. 产生背景
2. 核心组件及职责
3. 工作原理
4. 环境部署
5. 核心命令
6. 调度器

5.1.8 提交官方自带案例到YARN上运行并认识YARN UI界面

之前我们已经把YARN 跑起来了

停止命令是 ./stop-yarn.sh

其实Hadoop 为我们搞了一些官方自带的作业

/home/hadoop/app/hadoop-3.3.2/share/hadoop/mapreduce

这个jar 里面有非常多的作业，我们直接运行一下它hadoop jar xxxx

它给出了这些例子的说明，其实有一个计算π值的

就跑它了

执行命令：hadoop jar hadoop-mapreduce-examples-3.3.2.jar pi 2 3

等待运行结束

别较真，算出来就是这个

里面是用到了MR

回到UI

啊这，笔者好像没出来… 擦

好像并没有交上去啊，感觉像是直接在本地跑的，老师也没让配置

看下这两个配置文件

按照官网给的配置一下

修改完成后，重启YARN

再试一次

OK，失败了，配置文件要改一下，这里老师没讲，可恶啊

mapred-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
      <name>yarn.app.mapreduce.am.env</name>
      <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
    <property>
      <name>mapreduce.map.env</name>
      <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
    <property>
      <name>mapreduce.reduce.env</name>
      <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
</configuration>

改成这样

然后是yarn-site.xml

<?xml version="1.0"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->
<configuration>

<!-- Site specific YARN configuration properties -->
  <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    

</configuration>

就这样就行了，重启yarn试试

再来一次算pi

还是失败了

这次是有了，但是失败了我笑四

看看报错，好像是JAVA_HOME 的问题

给它配一个

加一个这个，笔者看的官网：

再试一次

还是报错了，好吧，笔者谷歌了一下，要创建一个软连接给Java

先把这个配置文件中的东西删掉，然后直接执行命令

ln -s /home/hadoop/app/jdk1.8.0_371/bin/java /bin/java

OK，真的再试一次

过了，看看UI

成功的应用

后面还有个历史服务器。

可以看到这个东西还打不开，没法儿看，我们下一节再说。