HDFS完全分布式的搭建步骤

1.时间同步

  首先需要在各个节点上都安装上ntp yum install ntp

  然后在网上查找最新的时间服务器ntp1.aliyun.com

  使用ntp同步时间ntpdate ntp1.aliyun.com

2.配置免密登录

也就是所有NameNode到所有节点的免密登录

所有节点执行ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

然后在NameNode节点执行依次执行以下命令，将NameNode节点的公钥加入到其他节点的白名单中

ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node02
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node03
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node04

3.所有节点安装并配置JDK

4.修改hdfs-site.xml配置文件

<property>
       <name>dfs.replication</name>
       <value>3</value>
</property>

<property>   
 	<name>dfs.namenode.secondary.http-address</name>
	<value>node02:50090</value>
</property>

5.修改core-site.xml配置文件

<property>
      <name>fs.defaultFS</name>
      <value>hdfs://node01:9000</value>
</property>

<property>
      <name>hadoop.tmp.dir</name>
      <value>/var/abc/hadoop/cluster</value>
</property>

6.修改slaves配置文件

node02
node03
node04

将配置完成的Hadoop文件夹分发到所有的其他节点
scp -r hadoop-2.6.5 root@主机名:`pwd`

7.将所有的HDFS相关的进程关闭

stop-dfs.sh
需要在~/.bashrc中配置Hadoop的全局环境变量，
可以参考https://blog.csdn.net/qjk19940101/article/details/70666349?utm_source=copy

8.格式化NameNode，如果之前配置过，需要先将以前配置的文件目录清空，然后执行

hdfs namenode -format

9.启动HDFS

start-dfs.sh

10.操作HDFS文件系统

创建目录 hdfs dfs -mkdir -p /user/root

上传文件 hdfs dfs -D dfs.blocksize=1048576 -put

配置过程中遇到的问题，如果之前配置过HDFS需要先将core-site.xml中配置的路径中文件夹清空后操作，最好是将NameNode之外的所有节点的Hadoop文件夹删除，等NameNode的Hadoop配置好后逐一分发，然后格式化NameNode。
如果所有的配置都没问题，最后成功启动后在HDFS的页面中存活节点和死亡节点都是0，说明NameNode的公钥和其他节点保存的公钥不一致，可能是之前配置中遗留的，这时可以找到生成节点命令中指定的目录，笔者的命令是ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa，所以公钥存放在 ~/.ssh/id_rsa中，可以将各个节点中的id手动修改为一致的，也可以全部删除后重新生成，然后再重新分发给各个节点。