hadoop之旅（五）

1.配置计算调度系统Yarn和计算引擎Map/Reduce
2.namenode上配置mapred-site.xml

mapreduce.framework.name
yarn

3.yarn-site.xml的配置

yarn.resourcemanager.hostname
master

yarn.nodemanager.aux-services
mapreduce_shuffle

yarn.nodemanager.auxservices.mapreduce.shuffle.class
org.apache.hadoop.mapred.ShuffleHandler

4启动yarn集群start-yarn.sh
5jps观察启动结果
6可以使用yarn-daemon.sh单独启动resourcemanager和nodemanager
7通过网页http://master:8088/观察yarn集群
8find /usr/local/hadoop -name example.jar 查找示例文件
9通过hadoop jar xxx.jar wordcount /input /output来运行示例程序
10通过网页来观察该job的运行情况
hadoop job -kill job_id –> mapred job -kill job_id mapred job -list
经验：yarn-site如果是集中启动，其实只需要在管理机上配置一份即可，但是如果单独启动，需要每台机器一份，在网页上可以看到当前机器的配置，以及这个配置的来源