大数据学习Hadoop之YARN伪分布式部署和MapReduce案例

一、YARN伪分布式部署

1、进入/software/hadoop-2.8.1/etc/hadoop目录

cd   /software/hadoop-2.8.1/etc/hadoop


2、复制配置模板

 cp mapred-site.xml.template yarn-site.xml

3、修改配置文件:

vim  yarn-site.xml



4、启动hdfs和yarn:



5、查看进程:

jps



yarn的两个进程:

ResourceManager

NodeManager


6、使用网页访问yarn:

192.168.137.130:8088




二、MapReduce案例

1、进入/software/hadoop-2.8.1/etc/hadoop目录

cd   /software/hadoop-2.8.1/etc/hadoop


2、复制配置模板

 cp mapred-site.xml.template mapred-site.xml



3、修改配置文件:

vim  mapred-site.xml



4、查找MapReduce案例:

find ./ -name "*example*"



5、计算圆周率:

hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.1.jar pi 5 10





6、在yarn上进行查看:

有提交的应用程序,也就是作业:

application



7、查看集群状态:









阅读更多
上一篇大数据学习Hadoop之HDFS基础使用
下一篇大数据学习Hadoop之HDFS详解二
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭
关闭