(1) 准备 1 台客户机
(2) 安装 jdk
(3) 配置环境变量
(4) 安装 hadoop
(5) 配置环境变量
(6) 配置集群 yarn 上运行
配置 yarn-env.sh:
去下面的目录/opt/module/hadoop-2.7.2/etc/hadoop
vim yarn-env.sh
#加入javahome
export JAVA_HOME=/opt/module/jdk1.8.0_151
配置 mapred-env.sh:
vim mapred-env.sh
#加入javahome
export JAVA_HOME=/opt/module/jdk1.8.0_151
配置 yarn-site.xml:
[root@hadoop101 hadoop-2.7.2]# pwd
/opt/module/hadoop-2.7.2
[root@hadoop101 hadoop-2.7.2]# vim etc/hadoop/yarn-site.xml
#在configuration中加入
<!-- reducer 获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定 YARN 的 ResourceManager 的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop101</value>
</property>
配置 (对 mapred-site.xml.template 重新命名为) mapred-site.xml:
[root@hadoop101 hadoop]# pwd
/opt/module/hadoop-2.7.2/etc/hadoop
mv mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
<!-- 指定 mr 运行在 yarn 上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
(7) 启动、 测试集群增、删、查
启动集群:
先启动namenode与datanode:
sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanode
启动 resourcemanager:
sbin/yarn-daemon.sh start resourcemanager
启动 nodemanager:
sbin/yarn-daemon.sh start nodemanager
yarn 的浏览器页面查看:
http://192.168.25.101:8088/cluster
#配置了域名重定向可以
http://hadoop101:8088/cluster
(8)在 yarn 上执行 wordcount 案例
运行 mapreduce 程序:
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/joker/input/ /user/joker/output