Cloudera manager:自动化脚本部署

1. 实验环境

笔记本：macbook pro，32G memory
虚拟机：VirtualBox，3台 centos7 虚拟机(均最小化安装)

• node1 默认为 master(或者说是server)：2 CPU，5G memory，200G 存储（动态分配），桥接网络（配置静态 IP 192.168.1.155）
• node2 默认为 agent：1 CPU，2G memory，200G 存储（动态分配），桥接网络（配置静态 IP 192.168.1.156）
• node3 默认为 agent：1 CPU，2G memory，200G 存储（动态分配），桥接网络（配置静态 IP 192.168.1.157）

默认所有操作，都是root 用户操作的。

2. 安装与配置虚拟机

2.1. 安装虚拟机

安装过程略…

都是最小化安装。

2.2. 配置虚拟机

3 台虚拟机都需要以下操作。

 
A. 修改 yum 源
为了加速资源下载，参照阿里开源镜像站操作，大致如下：

# 备份
mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup

# 下载新的CentOS-Base.repo 到/etc/yum.repos.d/
curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

# 之后运行yum makecache生成缓存
yum makecache

额外的操作，可以执行 yum update 更新一些系统的 package。

 
B. 修改为静态 IP
修改网卡配置文件

vim /etc/sysconfig/network-scripts/ifcfg-enp0s3

# 修改 部分
BOOTPROTO=“static”
ONBOOT=“yes”

# 增加 部分
MM_CONTROLLED="no"

# ip、网关、路由需要取决于网络所处环境，这里所示的是配置 master
# 其他 agent 配置静态 ip 应该对应修改 IPADDR
IPADDR=192.168.1.155
GATEWAY=192.168.1.1
NETMASK=255.255.255.0
DNS1=8.8.8.8

# 最后重启网络
systemctl restart network

 
C. 配置防火墙设置
因为是实验环境，这里采取的措施会比较暴力一点，直接干掉防火墙，操作大致如下：

systemctl stop firewalld
systemctl disable firewalld

# 检查状态
systemctl status firewalld

# 大致如下即表明成果关闭防火墙
firewalld.service - firewalld - dynamic firewall daemon
   Loaded: loaded (/usr/lib/systemd/system/firewalld.service; disabled; vendor preset: enabled)
   Active: inactive (dead)
     Docs: man:firewalld(1)

 
D. 配置并建立虚拟机之间的免密登录
下边以 master 为例，配置节点服务器，其余 agent 需要对应的修改 HOSTNAME。

# 修改 /etc/sysconfig/network
vim /etc/sysconfig/network
# 添加内容
HOSTNAME=hadoop1

# 修改 /etc/hostname
vim /etc/hostname
# 删除原来的内容，将内容修改为
hadoop1

# 修改 /etc/hosts
vim /etc/hosts
# 添加以下内容
192.168.61.155 hadoop1
192.168.61.156 hadoop2
192.168.61.157 hadoop3

# 修改 /etc/sysconfig/selinux
vim /etc/sysconfig/selinux
# 修改以下内容
SELINUX=disabled

# 重启
reboot

 
建立免密码登录：

# 执行生成密钥语句，并一直默认回车
ssh-keygen -t rsa

# 将密钥拷贝给所有节点
ssh-copy-id hadoop1
ssh-copy-id hadoop2
ssh-copy-id hadoop3

3. 建立自动化部署脚本 与 配置脚本

配置脚本是给自动化部署脚本读取的，读取的内容是集群当中的节点的 IP 和 HOSTNAME。自动化脚本读取配置脚本之后，得到的是两个数组，数组 1 存储的是 IP 构成的数组，数组 2 存储的是 HOSTNAME 构成的数组。
 
需要注意的是：

1. 在配置脚本当中，你需要将 master 节点的 IP 和 HOSTNAME 写在第一行。因为部署脚本没有实现识别哪一个是 master 节点，只是默认了 第一个是 master。
2. 除此以外，配置脚本不要书写任何多余的内容。部署脚本没有实现非关键内容识别或者匹配。
3. 最后，这里的 master 在 clo