YARN 上运行 MapReduce 程序

(1) 准备 1 台客户机
(2) 安装 jdk
(3) 配置环境变量
(4) 安装 hadoop
(5) 配置环境变量
(6) 配置集群 yarn 上运行
配置 yarn-env.sh:
去下面的目录/opt/module/hadoop-2.7.2/etc/hadoop

vim yarn-env.sh 
#加入javahome
export JAVA_HOME=/opt/module/jdk1.8.0_151

配置 mapred-env.sh:

vim mapred-env.sh 
#加入javahome
export JAVA_HOME=/opt/module/jdk1.8.0_151

配置 yarn-site.xml:

[root@hadoop101 hadoop-2.7.2]# pwd
/opt/module/hadoop-2.7.2
[root@hadoop101 hadoop-2.7.2]# vim etc/hadoop/yarn-site.xml 
#在configuration中加入
<!-- reducer 获取数据的方式 -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<!-- 指定 YARN 的 ResourceManager 的地址 -->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop101</value>
</property>

配置 (对 mapred-site.xml.template 重新命名为) mapred-site.xml:

[root@hadoop101 hadoop]# pwd
/opt/module/hadoop-2.7.2/etc/hadoop
mv mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
<!-- 指定 mr 运行在 yarn 上 -->
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

(7) 启动、 测试集群增、删、查
启动集群:
先启动namenode与datanode:

sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanode

启动 resourcemanager:

sbin/yarn-daemon.sh start resourcemanager

启动 nodemanager:

sbin/yarn-daemon.sh start nodemanager

yarn 的浏览器页面查看:

http://192.168.25.101:8088/cluster
#配置了域名重定向可以
http://hadoop101:8088/cluster

(8)在 yarn 上执行 wordcount 案例
运行 mapreduce 程序:

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/joker/input/ /user/joker/output

这里写图片描述

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值