第121讲：Hadoop集群的格式化、集群运行实战解析等学习笔记

第121讲：Hadoop集群的格式化、集群运行实战解析等学习笔记

本讲主要讲解hadoop集群格式化、集群运行实战

1.官网讲的格式化：

Hadoop Startup

To start a Hadoop cluster you will need to start both the HDFS and YARN cluster.

The first time you bring up HDFS, it must be formatted. Format a new distributed filesystem as hdfs:

[hdfs]$ $HADOOP_PREFIX/bin/hdfs namenode -format <cluster_name>

即：./hdfs namenode -format

2.启动hdfs:  start-dfs.sh

通过50070端口访问datanode

3.启动yarn:    start-yarn.sh

yarn管理的资源指内存/CPU等

通过8088端口访问yarn上运行的程序。

4.mr-jobhistory-daemon.sh start historyserver

查看job history server 上运行过的job

5.关闭： stop-yarn.sh/stop-dfs.sh/mr-jobhistory-daemon.sh stop historyserver

关闭hdfs慢是因为作为文件管理系统有很多元数据。

6.为什么不用stat-all.sh？

（1）分别启动时，如果发生问题，可以很快定位到问题所在

（2）如运行spark，直接启动yarn即可，不需要启动hdfs。

 

以上内容是从王家林老师DT大数据课程第121讲的学习笔记。
DT大数据微信公众账号：DT_Spark  

王家林老师QQ:1740415547 

王家林老师微信号：18610086859
DT大数据梦工厂的所有视频、PPT和代码在百度云盘的链接:http://pan.baidu.com/share/home?uk=4013289088#category/type=0&qq-pf-to=pcqq.group

 

第121讲视频网站地址：

51CTO

http://edu.51cto.com/lesson/id-77769.html