一、Hadoop的启动
在阅读这篇博客之前,你应该先阅读:Hadoop的安装与环境搭建.
1. 首先在npdev1机器上面运行hadoop-daemon.sh start namenode,启动namenode.
2. 然后在npfdev2,npfdev3,npfdev4分别运行hadoop-daemon.sh start datanode
3. 启动完成之后,我们的Hadoop的物理架构和逻辑架构如下:
npfdev1机器上面运行namenode, npfdev2,npfdev3,npfdev4分别运行datanode.
4. HDFS架构如下:
Hadoop简单来说就是多台机器备份的,可以横向扩展的系统。
二、使用命令行查看整个集群信息
1. 使用hdfs dfsadmin -report命令
我们为了更好的展示,使用hdfs dfsadmin -report | more 命令:
1.1 看集群的使用情况:
1.2 看集群的datanode的情况,总共有3个live的datanode.
第一个datanode:
第二个datanode:
第三个datanode:
三、使用web页面查看整个集群信息
1. 访问http://npfdev1:50070,选择Overview选项:
2. 选择Datanodes选项:
3. 选择Utilities选项下面的browse directory,可以看到整个硬盘的使用情况:
4. 选择Utilities选项下面的logs,可以看到启动日志:
四、关闭Hadoop集群
1. 首先在npdev1机器上面运行hadoop-daemon.sh stop namenode.
2. 然后在npfdev2,npfdev3,npfdev4分别运行hadoop-daemon.sh stop datanode.
五、启动和关闭Hadoop集群命令步骤总结:
1. 在master上启动hadoop-daemon.sh start namenode.
2. 在slave上启动hadoop-daemon.sh start datanode.
3. 用jps指令观察执行结果.
4. 用hdfs dfsadmin -report观察集群配置情况.
5. 通过http://npfdev1:50070界面观察集群运行情况.
6. 用hadoop-daemon.sh stop ...手工关闭集群.