大数据学习Hadoop之YARN伪分布式部署和MapReduce案例

一、YARN伪分布式部署

1、进入/software/hadoop-2.8.1/etc/hadoop目录

cd   /software/hadoop-2.8.1/etc/hadoop


2、复制配置模板

 cp mapred-site.xml.template yarn-site.xml

3、修改配置文件:

vim  yarn-site.xml



4、启动hdfs和yarn:



5、查看进程:

jps



yarn的两个进程:

ResourceManager

NodeManager


6、使用网页访问yarn:

192.168.137.130:8088




二、MapReduce案例

1、进入/software/hadoop-2.8.1/etc/hadoop目录

cd   /software/hadoop-2.8.1/etc/hadoop


2、复制配置模板

 cp mapred-site.xml.template mapred-site.xml



3、修改配置文件:

vim  mapred-site.xml



4、查找MapReduce案例:

find ./ -name "*example*"



5、计算圆周率:

hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.1.jar pi 5 10





6、在yarn上进行查看:

有提交的应用程序,也就是作业:

application



7、查看集群状态:









没有更多推荐了,返回首页

私密
私密原因:
请选择设置私密原因
  • 广告
  • 抄袭
  • 版权
  • 政治
  • 色情
  • 无意义
  • 其他
其他原因:
120
出错啦
系统繁忙,请稍后再试