Hadoop集群搭建

ps：准备三台Hadoop计算机

一、在namenode修改主机名映射

将三台datanode 写进去

vim /etc/hosts

192.168.88.21 hadoop1
192.168.88.22 hadoop2
192.168.88.23 hadoop3

将这个文件发送到其他 datanode 计算机 相同路径下

scp hosts hadoop2:$PWD
scp hosts hadoop3:$PWD

二、在namenode配置其他几台ssh免密登录

ssh-copy-id hadoop1
ssh-copy-id hadoop2
ssh-copy-id hadoop3

三、在namenode配置core-site.xml

设置 namenode 的地址

<configuration>
<!-- 指定hadoop 所在使用文件系统hdfs namenode老大的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop1:9000</value>
</property>
<!-- 执行hadoop 运行时产生文件存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop-2.6.0-cdh5.7.0/tmp</value>
</property>
</configuration>

四、在namenode配置hdfs-site.xml

几个datanode 副本写几

#hdfs副本数量
<property>
<name>dfs.replication</name>
<value>3</value>
</property>

五、在namenode配置datanode

vim slaves 

hadoop1
hadoop2
hadoop3

六、将这三个文件发送到其他 datanode 计算机 相同路径下

scp core-site.xml slaves hdfs-site.xml hadoop2:$PWD
scp core-site.xml slaves hdfs-site.xml hadoop3:$PWD

七、删除namenode 序列化文件，格式化后会自动生成

之前core-site.xml 里设置的路径

/usr/local/hadoop-2.6.0-cdh5.7.0/tmp

rm -rf tmp/

八、格式化namenode

hadoop namenode -format

九、启动namenode

start-dfs.sh

十、查看节点

jps

十一、浏览器登录HDFS webui界面

http://192.168.88.21:50070

效果：