大数据学习之Yarn伪分布式部署

最新推荐文章于 2024-08-06 22:59:32 发布

原创最新推荐文章于 2024-08-06 22:59:32 发布 · 237 阅读

0 ·

CC 4.0 BY-SA版权

BigData 同时被 2 个专栏收录

28 篇文章

订阅专栏

Hadoop

3 篇文章

订阅专栏

本文详细介绍了Yarn的部署步骤及关键配置过程，包括如何从模板创建mapred-site.xml文件，并设置mapreduce.framework.name参数为yarn，以及对yarn-site.xml文件的直接配置，确保Yarn服务正确启动。

上篇文章记录了hdfs部署，那么下来我们看看Yarn的部署

[hadoop@hadoop001 hadoop-2.6.0-cdh5.7.0]$ cd etc/hadoop
[hadoop@hadoop001 hadoop]$ ll
total 152
-rw-r--r--. 1 hadoop hadoop  4436 Mar 24  2016 capacity-scheduler.xml
-rw-r--r--. 1 hadoop hadoop  1335 Mar 24  2016 configuration.xsl
-rw-r--r--. 1 hadoop hadoop   318 Mar 24  2016 container-executor.cfg
-rw-r--r--. 1 hadoop hadoop   884 Sep 18 05:52 core-site.xml
-rw-r--r--. 1 hadoop hadoop  3670 Mar 24  2016 hadoop-env.cmd
-rw-r--r--. 1 hadoop hadoop  4293 Sep 17 16:52 hadoop-env.sh
-rw-r--r--. 1 hadoop hadoop  2598 Mar 24  2016 hadoop-metrics2.properties
-rw-r--r--. 1 hadoop hadoop  2490 Mar 24  2016 hadoop-metrics.properties
-rw-r--r--. 1 hadoop hadoop  9683 Mar 24  2016 hadoop-policy.xml
-rw-r--r--. 1 hadoop hadoop   867 Sep 17 17:05 hdfs-site.xml
-rw-r--r--. 1 hadoop hadoop  1449 Mar 24  2016 httpfs-env.sh
-rw-r--r--. 1 hadoop hadoop  1657 Mar 24  2016 httpfs-log4j.properties
-rw-r--r--. 1 hadoop hadoop    21 Mar 24  2016 httpfs-signature.secret
-rw-r--r--. 1 hadoop hadoop   620 Mar 24  2016 httpfs-site.xml
-rw-r--r--. 1 hadoop hadoop  3523 Mar 24  2016 kms-acls.xml
-rw-r--r--. 1 hadoop hadoop  1611 Mar 24  2016 kms-env.sh
-rw-r--r--. 1 hadoop hadoop  1631 Mar 24  2016 kms-log4j.properties
-rw-r--r--. 1 hadoop hadoop  5511 Mar 24  2016 kms-site.xml
-rw-r--r--. 1 hadoop hadoop 11291 Mar 24  2016 log4j.properties
-rw-r--r--. 1 hadoop hadoop   938 Mar 24  2016 mapred-env.cmd
-rw-r--r--. 1 hadoop hadoop  1383 Mar 24  2016 mapred-env.sh
-rw-r--r--. 1 hadoop hadoop  4113 Mar 24  2016 mapred-queues.xml.template
-rw-r--r--. 1 hadoop hadoop   758 Mar 24  2016 mapred-site.xml.template
-rw-r--r--. 1 hadoop hadoop    10 Sep 18 05:39 slaves
-rw-r--r--. 1 hadoop hadoop  2316 Mar 24  2016 ssl-client.xml.example
-rw-r--r--. 1 hadoop hadoop  2268 Mar 24  2016 ssl-server.xml.example
-rw-r--r--. 1 hadoop hadoop  2237 Mar 24  2016 yarn-env.cmd
-rw-r--r--. 1 hadoop hadoop  4567 Mar 24  2016 yarn-env.sh
-rw-r--r--. 1 hadoop hadoop   690 Mar 24  2016 yarn-site.xml

在etc/hadoop下配置mapred-site.xml文件

从上面可以看出是没有mapred-site.xml这个文件的，但有mapred-site.xml.template这个文件，这个是mapred-site.xml的一个样例,我们要将其cp一份命名为mapred-stie.xml，然后在这个副本文件中配置参数即可。

[hadoop@hadoop001 hadoop]$ cp mapred-site.xml.template mapred-site.xml
[hadoop@hadoop001 hadoop]$ vi mapred-site.xml

加入以下内容

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

在etc/hadoop下配置yarn-site.xml文件

从上面可以看出是有yarn-site.xml这个文件的,对其直接进行配置即可

[hadoop@hadoop001 hadoop]$ cat yarn-site.xml
<?xml version="1.0"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->
<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>