完全分布式环境搭建

整体规划

1. 一个集群，四个节点

2. ip分别是201(node201) 202(node202) 203(node203) 204(node204)

3. 角色分配

   node201:NameNode ResourceManager

   node202:DataNode NodeManager

   node203:DataNode NodeManager

   node204:DataNode NodeManager SecondaryNameNode

搭建步骤

1. 创建节点：

   1. 使用传统方式直接安装操作系统，比较麻烦

   2. 使用虚拟机克隆的方式创建

      关机状态下，被克隆的节点右键->管理->克隆->创建完整克隆

2. 修改网络配置

   1. sudo vim /etc/udev/rules.d/70-persistent-net.rules

      把eth0网卡注释掉

      把eth1改成eth0

      复制新eth0的硬件地址

   2. sudo vim /etc/sysconfig/network-scripts/ifcfg-eth0

      把复制的硬件地址替换掉原硬件地址

      修改ip地址

   3. 重启网卡

      sudo service network restart

3. 修改主机名

   1. sudo vim /etc/sysconfig/network

      HOSTNAME=xxx

   2. sudo reboot 重启生效

4. 涉及到集群

   1. hosts文件，有整个集群所有节点的映射关系
   2. ssh 免密登录，由于是完整克隆，所以无需重新配置
   3. jdk1.8 防火墙 无需重新配置

5. 修改hadoop的配置文件

   在主节点修改文件，同步到集群中的所有其他节点

   使用脚本帮助我们进行同步操作

   1. xsync

      核心命令 rsync(远程同步)，用法与scp完全一致

      区别：scp全部复制，rsync只同步不一样的地方

   2. xcall

      核心命令 ssh nodexxx conmmond

   **注意：**集群中的每个节点的hadoop配置文件必须保持同步

6. 格式化hadoop集群

   在主节点执行命令，不是每个节点都执行

   hadoop/hdfs namenode -format

7. 启动服务

   在主节点启动服务即可

   start-all.sh