HDFS完全分布式集群搭建与配置及常见问题总结

1.集群搭建

准备三台虚拟机，主机名分别为data01，data02，data03

修改每台虚拟机的/etc/hosts文件

测试是否可以免密登录

在data01上测试data02和data03是否能免密登录

测试命令：

ssh data02   ssh data03

 同样在data02上测试data01和data03是否能免密登录

ssh data01   ssh data03

同样在data03上测试data01和data02是否能免密登录

ssh data01   ssh data02

2.安装hadoop

安装的目录为/opt/software/hadoop

一般情况下新安装的机器上只有opt/目录

所以我们要自己新创建目录

cd /opt

mkdir software

cd software

mkdir hadoop

cd hadoop

mkdir hdfs

cd hdfs

mkdir data

mkdir name

mkdir tmp

回到hadoop目录上传文件

<