1. 配置文件总结
总共8个配置文件,4个site的xml文件,3个环境脚本,1个slaves
- 4个site文件:hdfs-site.xml,yarn-site.xml,mapred-site.xml,core-site.xml
- 3个环境脚本:hadoop-env.sh,yarn-env.sh,mapred-env.sh
- 1个slaves:slaves
2. 完全分布式运行模式的集群搭建过程
-
虚拟机配置
硬盘50G 内存4G cpu 62 22
/boot 200M
/swap 2G
/ 全部 -
*安装VMTools
-
防火墙关闭
service iptables stop //服务关闭
chkconfig iptables off //关闭开机自启 -
创建一个一般用户atguigu
useradd atguigu
passwd atguigu -
在/opt目录下创建software module文件夹,并更改所有权限
mkdir /opt/software /opt/module
chown atguigu:atguigu /opt/software /opt/module -
把这个用户加到sudoers
vim /etc/sudoers
atguigu ALL=(ALL) NOPASSWD: ALL
:wq!强制保存 -
改Hosts
vim /etc/hosts
在文件后追加
192.168.1.100 hadoop100
192.168.1.101 hadoop101
192.168.1.102 hadoop102
192.168.1.103 hadoop103
192.168.1.104 hadoop104
192.168.1.105 hadoop105
192.168.1.106 hadoop106
192.168.1.107 hadoop107
192.168.1.108 hadoop108
192.168.1.109 hadoop109
(下面的8,9,10 每克隆一台都需要做一遍)
- 改静态IP
sudo vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.1.100
PREFIX=24
GATEWAY=192.168.1.2
DNS1=192.168.1.2
NAME=eth0
-
改主机名
sudo vim /etc/sysconfig/network
改HOSTNAME字段
改成 HOSTNAME=hadoop100
拍快照 -
改网卡脚本文件
sudo vim /etc/udev/rules.d/70-persistent-net.rules
第一行删掉第二行
最后 NAME=“eth1” 改成 NAME=“eth0” -
搞一个分发脚本
cd ~
vim xsync
内容如下:
#!/bin/bash
#1 获取输入参数个数,如果没有参数,直接退出
pcount=$#
if ((pcount==0)); then
echo no args;
exit;
fi
#2 获取文件名称
p1=$1
fname=`basename $p1`