完全分布式集群搭建步骤

完全分布式集群搭建步骤

[注]本文假设您的虚拟机配置已经完毕, 其需要的操作有:

1. /etc/hosts文件需将文章所用到的主机名和Ip映射
2. 虚拟机防火墙关闭
3. Hadoop环境变量配置完毕
4. jdk配置完毕

若以上步骤都做完了,那么可以开始我们的集群搭建

(1) 时间同步

① 各个节点安装ntp命令yum install ntp
② 上网查找最新的时间服务器ntp1.aliyun.com
③ 同步时间ntpdate ntp1.aliyun.com

(2) 配置免密登录

node01->node01 node01->node02 node01->node03 node01->node04
① 所有节点执行 ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa
② 在node01节点执行，将node01的公钥加入到其他节点的白名单中 ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node02
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node03
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node04

(3) 所有节点配置JDK

(4) 修改hdfs-site.xml配置文件

<property>
        <name>dfs.replication</name>
        <value>3</value>
</property>
<property>   
  
 <name>dfs.namenode.secondary.http-address</name>
     <value>node02:50090</value>
</property>

(5) 修改core-site.xml配置文件

<property>
        <name>fs.defaultFS</name>
        <value>hdfs://node01:9000</value>
</property>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/var/abc/hadoop/cluster</value>
</property>

(6) 修改slaves配置文件

①修改为node02 node03 node04
②将配置好的安装包分发到其他节点上
scp -r hadoop-2.6.5 root@node02:/opt/software/hadoop/

(7) 将所有的HDFS相关的进程关闭

(8) 格式化NameNode(创建目录以及文件)在node01节点执行

hdfs namenode -format

(9) 启动HDFS start-dfs.sh

(10) 操作HDFS文件系统

① 创建目录 hdfs dfs -mkdir -p /user/root
② 上传文件 hdfs dfs -D dfs.blocksize=1048576 -put