CentOS 7 安装 CDH6

机器准备

IP	机器名	内存	硬盘
192.168.9.200	master	8G+	50G+
192.168.9.211	slave01	2G+	30G+
192.168.9.212	slave02	2G+	30G+
192.168.9.213	slave03	2G+	30G+

# 查看系统版本(CentOS 7.x) minimal安装
[root@du001 ~]# cat /etc/centos-release
CentOS Linux release 7.9.2009 (Core)

安装包准备

• JDK1.8安装包
• MySQL5.7.x安装包
• Python2.7.x安装包
• MySQL驱动 mysql-connector-java-5.1.49.jar
• CM安装包 cm6.3.1-redhat7.tar.gz
  • cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm
  • cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
  • cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm
  • cloudera-manager-server-db-2-6.3.1-1466458.el7.x86_64.rpm
  • enterprise-debuginfo-6.3.1-1466458.el7.x86_64.rpm
• CDH安装包
  • CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
  • CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha
  • manifest.json

安装的前置准备

1. 设置hosts（all）

   192.168.9.200		master
   192.168.9.211		slave01
   192.168.9.212		slave02
   192.168.9.213		slave03
   

2. 配置免密登录(all)

   192.168.9.201   ->    192.168.9.201  //免密
   192.168.9.201   ->    192.168.9.202  //免密
   192.168.9.201   ->    192.168.9.203  //免密
   192.168.9.201   ->    192.168.9.204  //免密
   

3. 检查主机时间同步（all）

   #确保机器时间同步ntp设置时间
   	    ntpdate 0.centos.pool.ntp.org
   

4. 关闭防火墙（all）

   systemctl stop firewalld
   systemctl disable firewalld
   

5. 关闭SELinux（all）

   # 久关闭 将SELINUX= enforcing 修改为SELINUX=disabled
   #修改后需要重启机器
   vim /etc/selinux/config
   SELINUX=disabled
   

6. 设置limit连接数(all)

   vim /etc/security/limits.d/20-nproc.conf
   #添加如下内容
   *       soft    nofile  65536
   *       hard    nofile  65536
   *       soft    nproc   65536
   *       hard    nproc   65536
   *       soft    memlock -1
   *       hard    memlock -1
   

7. 设置vm.swappiness核心参数（all）

   #在/etc/sysctl.conf文件中追加行
   vm.swappiness=0
   #使参数生效，执行命令
   sysctl -p
   

8. 设置hugepage相关参数（all）

   #追加到 /etc/rc.local文件中，使系统重启时生效
   echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag
   echo never > /sys/kernel/mm/transparent_hugepage/enabled
   

必要基础环境准备

1. JDK1.8+安装（all）

   JAVA_HOME=/opt/jdk
   CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
   PATH=$JAVA_HOME/bin:$HOME/bin:$HOME/.local/bin:$PATH
   export JAVA_HOME CLASSPATH PATH
   #切记：务必设置JAVA_HOME
   #切记：CM安装时会找/usr/java目录，所以加一个Java的软连接到自己的jdk安装目录（我的JDK安装在/opt/jdk下）
   ln -s /usr/java /opt/jdk
   

2. Python2.7安装（all）

   #centos7自带python
   [root@master ~]# python -V
   Python 2.7.5
   

3. MySQL 5.7.x 安装(尽量安装5.7.x版本，其他版本没有试过)
   参考文档

为安装软件建立数据库

CREATE DATABASE c_hive DEFAULT CHARACTER SET UTF8;
CREATE USER 'hive'@'%' IDENTIFIED BY 'du123456';
GRANT ALL PRIVILEGES ON c_hive.* to 'hive'@'%';

CREATE DATABASE c_cman DEFAULT CHARACTER SET UTF8;
CREATE USER 'cman'@'%' IDENTIFIED BY 'du123456';
GRANT ALL PRIVILEGES ON c_cman.* to 'cman'@'%';

CREATE DATABASE c_oozie DEFAULT CHARACTER SET UTF8;
CREATE USER 'oozie'@'%' IDENTIFIED BY 'du123456';
GRANT ALL PRIVILEGES ON c_oozie.* to 'oozie'@'%';

CREATE DATABASE c_hue DEFAULT CHARACTER SET UTF8;
CREATE USER 'hue'@'%' IDENTIFIED BY 'du123456';
GRANT ALL PRIVILEGES ON c_hue.* to 'hue'@'%';