Hadoop[04]启动yarn（Hadoop2.0）

最新推荐文章于 2022-09-30 19:42:14 发布

Toozky

最新推荐文章于 2022-09-30 19:42:14 发布

阅读量492

点赞数

分类专栏： # Hadoop 文章标签： hadoop linux

本文链接：https://blog.csdn.net/u012175183/article/details/117223316

版权

Hadoop 专栏收录该内容

6 篇文章 0 订阅

订阅专栏

Hadoop[04]启动yarn（Hadoop2.0）

准备环境

准备多台虚拟机，启动dfs和zookeeper
详见链接：Hadoop2.0 启动DFS和Zookeeper

多台虚拟机部分数据如下

编号	主机名	主机域名	ip地址
①	Toozky	Toozky	192.168.64.220
②	Toozky2	Toozky2	192.168.64.221
③	Toozky3	Toozky3	192.168.64.222

设置ssh免密连接
详见链接： Linux虚拟机ssh免密连接

资源列表

软件	软件版本
VMware	VMware® Workstation 16 Pro
Hadoop	2.6.5
Xshell	6

修改配置

虚拟机①

以虚拟机①为NameNode

mapred-site.xml

将mapred-site.xml.template复制为mapred-site.xml
编辑mapred-site.xml

cd /root/hadoop-2.6.5/etc/hadoop
cp mapred-site.xml.template mapred-site.xml
vi mapred-site.xml

在configuration标签中添加

  <property>
    <name>mapreduce.framework.name </name>
    <value>yarn</value>
  </property>

yarn-site.xml

编辑yarn-site.xml

vi yarn-site.xml

在configuration标签中添加

  <property>
    <name>yarn.resourcemanager.hostname </name>
    <value>Toozky</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-service.mapreduce.shuffle.class </name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>

  <!--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
  <property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
  </property>
  <!--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
  <property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
  </property>

发送相关文件到②、③

在虚拟机①中发送mapred-site.xml、yarn-site.xml到②、③指定目录

scp mapred-site.xml root@Toozky2:/root/hadoop-2.6.5/etc/hadoop/
scp mapred-site.xml root@Toozky3:/root/hadoop-2.6.5/etc/hadoop/
scp yarn-site.xml root@Toozky2:/root/hadoop-2.6.5/etc/hadoop/
scp yarn-site.xml root@Toozky3:/root/hadoop-2.6.5/etc/hadoop/