Hadoop集群搭建过程及配置文件总结

1. 配置文件总结

总共8个配置文件，4个site的xml文件，3个环境脚本，1个slaves

• 4个site文件：hdfs-site.xml，yarn-site.xml，mapred-site.xml，core-site.xml
• 3个环境脚本：hadoop-env.sh，yarn-env.sh，mapred-env.sh
• 1个slaves：slaves

2. 完全分布式运行模式的集群搭建过程

1. 虚拟机配置
   硬盘50G 内存4G cpu 62 22
   /boot 200M
   /swap 2G
   / 全部

2. *安装VMTools

3. 防火墙关闭
   service iptables stop //服务关闭
   chkconfig iptables off //关闭开机自启

4. 创建一个一般用户atguigu
   useradd atguigu
   passwd atguigu

5. 在/opt目录下创建software module文件夹,并更改所有权限
   mkdir /opt/software /opt/module
   chown atguigu:atguigu /opt/software /opt/module

6. 把这个用户加到sudoers
   vim /etc/sudoers
   atguigu ALL=(ALL) NOPASSWD: ALL
   :wq!强制保存

7. 改Hosts
   vim /etc/hosts
   在文件后追加

192.168.1.100   hadoop100
192.168.1.101   hadoop101
192.168.1.102   hadoop102
192.168.1.103   hadoop103
192.168.1.104   hadoop104
192.168.1.105   hadoop105
192.168.1.106   hadoop106
192.168.1.107   hadoop107
192.168.1.108   hadoop108
192.168.1.109   hadoop109

（下面的8,9,10 每克隆一台都需要做一遍）

8. 改静态IP
   sudo vim /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.1.100
PREFIX=24
GATEWAY=192.168.1.2
DNS1=192.168.1.2
NAME=eth0

9. 改主机名
   sudo vim /etc/sysconfig/network
   改HOSTNAME字段
   改成 HOSTNAME=hadoop100
   拍快照

10. 改网卡脚本文件
    sudo vim /etc/udev/rules.d/70-persistent-net.rules
    第一行删掉

    第二行
    最后 NAME=“eth1” 改成 NAME=“eth0”

11. 搞一个分发脚本
    cd ~
    vim xsync
    内容如下：

#!/bin/bash
#1 获取输入参数个数，如果没有参数，直接退出
pcount=$#
if ((pcount==0)); then
echo no args;
exit;
fi

#2 获取文件名称
p1=$1
fname=`basename $p1`