大数据学习Hadoop之YARN伪分布式部署和MapReduce案例

一、YARN伪分布式部署

1、进入/software/hadoop-2.8.1/etc/hadoop目录

cd   /software/hadoop-2.8.1/etc/hadoop

2、复制配置模板

 cp mapred-site.xml.template yarn-site.xml

3、修改配置文件：

vim  yarn-site.xml

4、启动hdfs和yarn:

5、查看进程：

jps

yarn的两个进程：

ResourceManager

NodeManager

6、使用网页访问yarn:

192.168.137.130:8088

二、MapReduce案例

1、进入/software/hadoop-2.8.1/etc/hadoop目录

cd   /software/hadoop-2.8.1/etc/hadoop

2、复制配置模板

 cp mapred-site.xml.template mapred-site.xml

3、修改配置文件：

vim  mapred-site.xml

4、查找MapReduce案例：

find ./ -name "*example*"

5、计算圆周率：

hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.1.jar pi 5 10

6、在yarn上进行查看：

有提交的应用程序，也就是作业：

application

7、查看集群状态：