HDFS完全分布式搭建

下面介绍HDFS完全分布式的搭建：

第一步：在VmVare中安装四台CentOs6.5,主机名分别为node1,node2,node3,node4，(这样配置主机名是为了搭建的时候方便和节点关联)。

第二步：分别配置这四台主机的网络。

修改/etc/sysconfig/network-scripts/下的ifcfg-eth0文件,使ONBOOT=yes，BOOTPROTO=none，再添加
以下文本：

IPADDR=192.168.42.128
PREFIX=24
GATEWAY=192.168.42.2
DNS1=8.8.8.8

指令列表

    1、cd /etc/sysconfig/network-scripts/  
    2、vim ifcfg-eth0

截图

修改后的文本内容，其中IPADDR是虚拟的IP地址，GATEWAY是把虚拟机的IP地址最后一位改成2

DNS1可以在宿主机的IP4地址中查看，如下图，四台主机的网络配置方法一致

第三步：配置四台主机的jdk

首先我们把自带的jdk卸载：
1）查看当前Linux系统是否已经安装java
输入 rpm -qa | grep java

2）卸载两个openJDK
输入rpm -e --nodeps 要卸载的软件

3）上传jdk到linux
4）解压jdk到/usr/local下 tar –xvf jdk-8u121-linux-x64.tar.gz –C /usr/local
5）配置jdk环境变量，打开/etc/profile配置文件，将下面配置拷贝进去

export JAVA_HOME=/usr/local/jdk1.8.0_121
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin:$PATH

6） 检查jdk是否安装成功:java - version

四台主机配置步骤一致

第四步：修改各个主机的hosts文件

1）修改/etc/hosts文件：vim /etc/hosts

第五步：同步各个主机的时间

1）各个节点(节点即主机)安装ntp命令：yum install ntp
2）同步时间：ntpdate ntp1.aliyun.com
3）可以使用date命令查看时间是否同步

第六步：配置免密登录

免密示意图：

node01->node01  node01->node02  node01->node03 node01->node04

1）所有节点执行 ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa
步骤都一样，这里仅贴出node1操作的截图

2）在node1节点执行，将node1的公钥加入到其他节点的白名单中

	ssh-copy-id -i ~/.ssh/id_rsa.pub root@node1
	ssh-copy-id -i ~/.ssh/id_rsa.pub root@node2
	ssh-copy-id -i ~/.ssh/id_rsa.pub root@node3
	ssh-copy-id -i ~/.ssh/id_rsa.pub root@node4
	步骤都一样，这里仅贴出node1操作的截图

第七步：上传hadoop-2.6.5.tar.gz并修改配置文件

1）首先将hadoop-2.6.5.tar.gz上传到/home目录下面，然后解压到hadoop文件夹下，hadoop文件夹解压前创建好

2）解压完成后修改/home/hadoop/hadoop-2.6.5/etc/hadoop下的hdfs-site.xml配置文件:

3)修改core-site.xml配置文件

4)修改slaves配置文件，注意node2 node3 node4 不能在同一行，否则会造成HDFS的脑裂

5)将配置好的安装包分发到其他节点上：

 scp -r hadoop-2.6.5 root@node1:`pwd`
 注意：四个节点的hadoop的安装目录要一致：即都是在/home/hadoop/hadoop-2.6.5/下

6）将hadoop的命令配置到系统变量中,各个节点都要配置

vim /etc/profile

7）关闭四个节点的防火墙

service iptables status：查看防火墙的状态
service iptables stop : 临时关闭防火墙
chkconfig iptables off :永久关闭防火墙
这里选择临时关闭

8）记得将所有的HDFS相关的进程关闭

第八步：格式化NameNode并启动HDFS

1）格式化(8)NameNode(创建目录以及文件)在node1节点执行
执行指令：

	hdfs namenode -format

2）启动HDFS

	启动HDFS:   start-dfs.sh

提示我各个节点的java_home变量没设置，解决办法：找到hadoop-2.6.5/etc/hadoop/hadoop-env.sh,修改JAVA_HOME的环境变量，四个节点都要配置

配置完成后重新启动：

启动成功！

3）接下来进行一些简单的集群内文件的上传操作
上传文件

	 hdfs dfs -put src... dest

创建目录：

	hdfs dfs -mkdir /test

级联创建：

	hdfs dfs mkdir -p /user/test/mzj

在文件中追加信息：

		hdfs dfs -appendToFile hehe.txt /haha.txt

查看文件内容：

	hdfs dfs -cat /haha.txt

更改文件的属主：

	hdfs dfs -chgrp nb /test

更改文件的权限：

	hdfs dfs -chmod -R 777 /user/test/mzj

更改文件的属主和属组：

	hdfs dfs -chown -R mzj:zzz /haha.txt

将HDFS上的文件复制到本地

	hdfs dfs -copyToLocal /haha.txt ./

查看文件系统的磁盘空间

	hdfs dfs -df -h  

4）在浏览器中查看HDFS的信息：在node1节点的浏览器输入localhost:50070即可