1. 实验环境
笔记本:macbook pro,32G memory
虚拟机:VirtualBox,3台 centos7 虚拟机(均最小化安装)
- node1 默认为 master(或者说是server):2 CPU,5G memory,200G 存储(动态分配),桥接网络(配置静态 IP 192.168.1.155)
- node2 默认为 agent:1 CPU,2G memory,200G 存储(动态分配),桥接网络(配置静态 IP 192.168.1.156)
- node3 默认为 agent:1 CPU,2G memory,200G 存储(动态分配),桥接网络(配置静态 IP 192.168.1.157)
默认所有操作,都是root 用户操作的。
2. 安装与配置虚拟机
2.1. 安装虚拟机
安装过程略…
都是最小化安装。
2.2. 配置虚拟机
3 台虚拟机都需要以下操作。
A. 修改 yum 源
为了加速资源下载,参照阿里开源镜像站操作,大致如下:
# 备份
mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
# 下载新的CentOS-Base.repo 到/etc/yum.repos.d/
curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
# 之后运行yum makecache生成缓存
yum makecache
额外的操作,可以执行 yum update 更新一些系统的 package。
B. 修改为静态 IP
修改网卡配置文件
vim /etc/sysconfig/network-scripts/ifcfg-enp0s3
# 修改 部分
BOOTPROTO=“static”
ONBOOT=“yes”
# 增加 部分
MM_CONTROLLED="no"
# ip、网关、路由需要取决于网络所处环境,这里所示的是配置 master
# 其他 agent 配置静态 ip 应该对应修改 IPADDR
IPADDR=192.168.1.155
GATEWAY=192.168.1.1
NETMASK=255.255.255.0
DNS1=8.8.8.8
# 最后重启网络
systemctl restart network
C. 配置防火墙设置
因为是实验环境,这里采取的措施会比较暴力一点,直接干掉防火墙,操作大致如下:
systemctl stop firewalld
systemctl disable firewalld
# 检查状态
systemctl status firewalld
# 大致如下即表明成果关闭防火墙
firewalld.service - firewalld - dynamic firewall daemon
Loaded: loaded (/usr/lib/systemd/system/firewalld.service; disabled; vendor preset: enabled)
Active: inactive (dead)
Docs: man:firewalld(1)
D. 配置并建立虚拟机之间的免密登录
下边以 master 为例,配置节点服务器,其余 agent 需要对应的修改 HOSTNAME。
# 修改 /etc/sysconfig/network
vim /etc/sysconfig/network
# 添加内容
HOSTNAME=hadoop1
# 修改 /etc/hostname
vim /etc/hostname
# 删除原来的内容,将内容修改为
hadoop1
# 修改 /etc/hosts
vim /etc/hosts
# 添加以下内容
192.168.61.155 hadoop1
192.168.61.156 hadoop2
192.168.61.157 hadoop3
# 修改 /etc/sysconfig/selinux
vim /etc/sysconfig/selinux
# 修改以下内容
SELINUX=disabled
# 重启
reboot
建立免密码登录:
# 执行生成密钥语句,并一直默认回车
ssh-keygen -t rsa
# 将密钥拷贝给所有节点
ssh-copy-id hadoop1
ssh-copy-id hadoop2
ssh-copy-id hadoop3
3. 建立自动化部署脚本 与 配置脚本
配置脚本是给自动化部署脚本读取的,读取的内容是集群当中的节点的 IP 和 HOSTNAME。自动化脚本读取配置脚本之后,得到的是两个数组,数组 1 存储的是 IP 构成的数组,数组 2 存储的是 HOSTNAME 构成的数组。
需要注意的是:
- 在配置脚本当中,你需要将 master 节点的 IP 和 HOSTNAME 写在第一行。因为部署脚本没有实现识别哪一个是 master 节点,只是默认了 第一个是 master。
- 除此以外,配置脚本不要书写任何多余的内容。部署脚本没有实现非关键内容识别或者匹配。
- 最后,这里的 master 在 clo