CentOS集群搭建
cd /etc/yum.repos.d/
rm -rf *
cp /usr/local/CentOS6-Base-163.repo . # 自己的repo文件移动到/etc/yum.repos.d/目录中:cp /usr/local/CentOS6-Base-163.repo .
# 修改repo文件,把所有gpgcheck属性修改为0
# 2、配置yum
yum clean all
yum makecache
yum install telnet
使用虚拟机搭建台Linux系统
- 准备镜像CentOS-6.4-i386-minimal.iso
- 使用VMware
- 创建Linux系统的虚拟机
- 打开虚拟机的
虚拟网络编辑器
,设置NAT模式
的子网IP
,我的子网设置的192.168.75.0
如下图
- 设置网络为
NAT
模式 - 打开虚拟机,配置网络,打开
cd /etc/sysconfig/network-scripts/ifcfg-eth0
文件,修改如下
DEVICE=eth0
HWADDR=00:0C:29:96:86:00
TYPE=Ethernet
UUID=3d0e97dd-4e4c-4cd2-8450-b9167bfd0410
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
IPADDR=192.168.75.111
NETMASK=255.255.255.0
GATEWAY=192.168.75.2
DNS1=192.168.75.2
- 关闭防火墙
service iptables stop
chkconfig iptables off
vi /etc/selinux/config
SELINUX=disabled
关闭windows的防火墙!
- 修改
vi /etc/resolv.conf
nameserver 192.168.75.2
- 修改
vi /etc/hosts
,映射
192.168.75.111 spark1
- 重启网络
service network restart
- 测试网络
ping www.baidu.com
- 安装JDK,配置环境变量(这个不详细说明)
- 安装上述步骤,再安装两台一模一样环境的虚拟机,因为后面hadoop和spark都是要搭建集群的。
- 集群的最小环境就是三台。因为后面要搭建ZooKeeper、kafka等集群。
- 另外两台机器的hostname分别设置为spark2和spark3即可,ip分别为192.168.75.112和192.168.75.113
- 安装好之后,记得要在三台机器的/etc/hosts文件中,配置全三台机器的ip地址到hostname的映射,而不能只配置本机,这个很重要!
192.168.75.111 spark1
192.168.75.112 spark2
192.168.75.113 spark3
- 在windows的hosts文件中也要配置全三台机器的ip地址到hostname的映射。
集群ssh免密登陆
- 在每台虚拟机上执行
ssh-keygen -t rsa
cd /root/.ssh
cp id_rsa.pub authorized_keys
- 配置三台机器互相之间的ssh免密码登陆,以在
spark1
机器上为例,另外两台类似
ssh-copy-id -i spark2
ssh-copy-id -i spark3