手把手教你复制黏贴式搭建企业级CDH平台

1、基础知识与节点规划

1、cdh的部署形式有三种
    bin在线部署 
    rpm包部署  要访问外网或者私服
    tar包部署  这是真正意义上的离线部署
    由于公司网路无法访问外网，所以一般我们就是使用第三种模式进行部署


2、CDH离线部署的三个部分
MySQL离线部署
    建议MySQL5.7.11(疑问：mysql的版本以及安装方式对于cdh的部署是否有影响？？？)
CM的离线部署
    分为server主节点和agent从节点，负责管理大数据的组件。
Parcel离线部署
    即大数据组件的包裹文件。

3、环境
    centos 7.2   磁盘可用至少40G

    cdh001   server+agent
    cdh002   agent
    cdh003   agent
    

4、软件
MySQL:
    mysql-5.7.11-linux-glibc2.5-x86_64.tar.gz
    mysql-connector-java-5.1.47.jar
CM:
    cloudera-manager-agent-6.2.0-968826.el7.x86_64.rpm
    cloudera-manager-daemons-6.2.0-968826.el7.x86_64.rpm
    cloudera-manager-server-6.2.0-968826.el7.x86_64.rpm
Parcel:

其他：
    jdk-8u221-linux-x64.gz
    

 

2、环境的初始化

以下步骤，如果未特别注明则是指在server主节点所在机器执行命令。

1、hosts配置（所有机器）
echo "192.168.11.141 cdh001" >> /etc/hosts && echo "192.168.11.142 cdh002" >> /etc/hosts && echo "192.168.11.143 cdh003" >> /etc/hosts 



2、防火墙关闭（所有机器）
centos6：
    关闭防火墙：service iptables stop
    关闭防火墙自启动：chkconfig iptables off
centos7：
    关闭防火墙：systemctl stop firewalld
    禁用防火墙：systemctl disable firewalld
    清空防火墙规则：iptables -F (为何需要清空？什么是防火墙规则)

3、SELINUX关闭（所有机器）
    关闭selinux：setenforce 0
    禁用selinux: vi /etc/selinux/config (SELINUX=disabled)

4、时间同步与设置时区
时间同步的方式：
    主从（A负责和互联网同步时间，其他与A同步。优先选择主从）
    主主（所有节点都与互联网同步时间）
    有些公司有时间同步服务器，所有机器与该机器同步时间。
        一般使用主从，因为所有机器从互联网同步时间，遇到关机重启之类的情况，
        有的机器同步了时间，而有点机器没有，则可能导致时间不一致。
    
centos7
    设置时区：timedatectl set-timezone Asia/Shanghai （所有机器）
    时间同步：
        yum -y install ntpd（所有机器）
            如果是内网，则没有d。但此时公司必须有仓库中心，不然软件在哪里下载啊。

       cdh001节点：
        vi /etc/ntp.conf  添加如下内容
            server 127.127.1.0 iburst local host 
                #这句意思是：当互联网时间无法同步时，使用本地硬件时间
            restrict 192.168.3.0  mask 255.255.255.0 nomodify notrap 
                #这句话的意思：允许什么网段的机器来本机同步时间
                #网段及ip前三位，最后一位补0 
        systemctl start ntpd