spark-1.机器配置

安装centos6.8

主机名与IP配置

主机名	IP
master	192.168.1.111
slave01	192.168.1.112
slave02	192.168.1.113

修改主机名

vi /etc/sysconfig/network
HOSTNAME=主机名

修改网络配置：

vi /etc/sysconfig/network-scripts/ifcfg-eth0
TYPE=Ethernet
Name=eth0
IPV4_FAILURE_FATAL=yes
IPADDR=192.168.1.111 #主机IP
GATEWAY=192.168.1.2 # 网关地址
ONBOOT=yes
BOOTPROTO=none
DNS1=8.8.8.8 # DNS服务器地址
HWADDR=00:0c:29:7c:42:8c # 如果是克隆的主机，需要修改mac地址
PREFIX=24
DEFROUTE=yes
IPV6INIT=no

注：如果是克隆主机，首先需要修改网卡名称，并复制mac地址。

vi /etc/udev/rules.d/70-persistent-net.rules
 # PCI device 0x8086:0x100f (e1000)
SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*", ATTR{address}=="00:0c:29:7c:35:9a", ATTR{type}=="1", KERNEL=="eth*", NAME="eth0"
 # PCI device 0x8086:0x100f (e1000)
SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*", ATTR{address}=="00:0c:29:7c:42:8c", ATTR{type}=="1", KERNEL=="eth*", NAME="eth1"

复制mac地址：00:0c:29:7c:42:8c，并修改网卡名称为eth0

 # PCI device 0x8086:0x100f (e1000)
SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*", ATTR{address}=="00:0c:29:7c:42:8c ", ATTR{type}=="1", KERNEL=="eth*", NAME="eth0"

重启网络服务

service network restart

修改hosts文件

修改三个节点与宿主机的host 文件，追加内容如下：

# centos6.7下操作
vi /etc/hosts

192.168.1.111 master
192.168.1.112 slave01
192.168.1.113 slave02

关闭防火墙/安装JDK/Hadoop（略）

原则：保证master、slave01、slave02这三个节点能ssh。
master节点：
su dendan
cd ~/.ssh
ssh-keygen -t rsa
ssh-copy-id master

salve01节点：
su dendan
cd ~/.ssh
ssh-keygen -t rsa
ssh-copy-id salve01

salve02节点：
su dendan
cd ~/.ssh
ssh-keygen -t rsa
ssh-copy-id salve02