hadoop2.7入门-集群管理和文件基本操作

1、基本情况介绍

本次搭建的集群物理架构：
master namenode
slave1 datanode1
slave2 datanode2
salve3 datanode3

本集群目前是HDFS文件集群，还没有涉及到计算集群

namenode：存储文件系统元数据（文件目录结构、分块情况、每块位置、权限等），存于内存中；namenode要求内存大

文件按块存储，有个最小的存储大小，默认是128M，即便文件很小，也需要占128M的空间
如果文件大于128M，则会被拆分成多个块
hadoop默认存储文件，是每一个文件块做两个备份，也就是每一个文件块都存3份，如果其中一个节点down掉了，则它会从另外两个文件块中复制一份到其他的节点中，

namenode，在2.x版本中可以有两个，一个down掉可以由另一个代替。

2、查看集群信息

2.1、通过命令查看集群情况

使用
hdfs dfsadmin -report
可以观察集群情况（报告整个集群的情况）
首先看到当前机器namenode情况
capacity：剩余空间情况（大小、百分比）
used：使用情况
live datanodes(3) 表示管理着3台datanode
下面再分别展示各datanode的情况

DHFS 可以看做是一个文件系统，对使用者来说，是不清楚内部究竟有多少机器的，把它当做一个大的硬盘来使用即可

2.2、通过web界面查看集群情况

通过提供的web界面查看集群情况：
查看当前namenode启动后在哪些端口上进行监听
netstat -ntlp