hadoop2.7入门-集群管理和文件基本操作

1、基本情况介绍

本次搭建的集群物理架构：
master namenode
slave1 datanode1
slave2 datanode2
salve3 datanode3

本集群目前是HDFS文件集群，还没有涉及到计算集群

namenode：存储文件系统元数据（文件目录结构、分块情况、每块位置、权限等），存于内存中；namenode要求内存大

文件按块存储，有个最小的存储大小，默认是128M，即便文件很小，也需要占128M的空间
如果文件大于128M，则会被拆分成多个块
hadoop默认存储文件，是每一个文件块做两个备份，也就是每一个文件块都存3份，如果其中一个节点down掉了，则它会从另外两个文件块中复制一份到其他的节点中，

namenode，在2.x版本中可以有两个，一个down掉可以由另一个代替。

2、查看集群信息

2.1、通过命令查看集群情况

使用
hdfs dfsadmin -report
可以观察集群情况（报告整个集群的情况）
首先看到当前机器namenode情况
capacity：剩余空间情况（大小、百分比）
used：使用情况
live datanodes(3) 表示管理着3台datanode
下面再分别展示各datanode的情况

DHFS 可以看做是一个文件系统，对使用者来说，是不清楚内部究竟有多少机器的，把它当做一个大的硬盘来使用即可

2.2、通过web界面查看集群情况

通过提供的web界面查看集群情况：
查看当前namenode启动后在哪些端口上进行监听
netstat -ntlp

可以看到NameNode的进程是1465
对应的有两个监听端口：9000和50070
其中9000端口是namenode和datanode通信用的，50070是它对外提供的web端口
我们可以访问192.168.13.135:50070打开web界面

这个就是hadoop集群的web界面，在这里可以观察hadoop集群的运行情况
包括：namenode详情
datanode详情，总共有多少datanode节点，死了多少节点，哪些节点出问题了
启动日志信息
集群中存储的文件信息等
数据存放情况（hadoop默认将数据装到/tmp目录下，每次linux重新启动都会清空，因此，后面会修改数据存放位置的配置信息）

3、集群的启动和停止

3.1、每台机器分别启动

启动节点
hadoop-daemon.sh start namenode
hadoop-daemon.sh start datanode

关闭节点
hadoop-daemon.sh stop namenode
hadoop-daemon.sh stop datanode

3.2、配置集中管理

集中式管理：

3.2.1、配置master上的slaves文件

可以在master机器上对所有集群中的机器进行启动或者停止等管理 （实际上可以在任何一台机器上做集群管理，只要配置好相应的访问信息即可）
hadoop安装文件夹下etc/hadoop文件夹下slaves
cd /usr/local/hadoop-2.7.3/etc/hadoop

修改master机器上的slaves文件，添加集群中的所有datanode节点的机器名称（注意，slaves文件中如果有localhost需要先删除）
vim slaves

i插入：

slave1
slave2
slave3

esc退出编辑:wq退出保存

注意：slaves文件是配置datanode信息，方便namenode机器对整个集群进行集中式管理用。hadoop3.0以后，该文件改名为workers

3.2.3、master上启动集群

start-dfs.sh和stop-dfs.sh
该命令需要远程登录(使用ssh加密通信)到各个机器上发送命令进行启动，所以需要分别输入每一台机器的密码。
注意：如果出现类似以下的提示

The authenticity of host ‘192.168.13.135 (192.168.13.135)’ can’t be established.
ECDSA key fingerprint is SHA256:EsqTfeCJ34DnGV66REuRRPhoFwaLuee5wxFgEAZ8b9k.
Are you sure you want to continue connecting (yes