基于CentOS 7的CDH 6 完整离线安装

1、CDH6资料准备

网盘链接：https://pan.baidu.com/s/1jpqwurCjolkHaXHzn618vQ

提取码：m9pj

2、虚拟机基础环境

准备三台虚拟机，安装好 JDK 并添加完互信；

2.1、安装JDK

第一步：禁用防火墙

// 查看防火墙状态
systemctl status firewalld

// 关闭防火墙
systemctl stop firewalld

// 禁用防火墙
systemctl disable firewalld

第二步：上传并解压安装（此处安装在 /opt 目录下）

tar -zxvf jdk-8u221-linux-64.tar.gz

第三步：配置环境变量

vi /etc/profile

// 添加内容
export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin
export JAVA_HOME=/opt/jdk..
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

// 立即生效环境变量
source /etc/profile
//查看java版本
java -version

2.2、添加互信

第一步：修改主机名列表

vi /etc/hosts

// 添加内容
ip1 hoatnmae1
ip2 hoatnmae2
ip3 hoatnmae3

第二步：生成秘钥

// 然后敲回车，就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
ssh-keygen -t rsa

第三步：复制秘钥

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

第四步：分发秘钥

ssh-copy-id -i ~/.ssh/id_rsa.pub -p22 用户名@主机名

3、时间同步

3.1、安装 ntp

yum -y install ntp

3.2、修改 ntp 配置文件

vi /etc/ntp.conf

（1）添加当前节点 ip 地址、集群网关等

#当前节点IP地址
restrict 192.168.8.201 nomodify notrap nopeer noquery          
#集群所在网段的网关、子网掩码
restrict 192.168.8.1 mask 255.255.255.0 nomodify notrap

（2）重置 server
注释原有 server，主机添加以下内容

server 127.127.1.0
Fudge 127.127.1.0 stratum 10

其他节点添加以下内容

server 192.168.8.201
Fudge 192.168.8.201 stratum 10

3.3、启动 ntp 服务

service ntpd start		// 启动 ntp 服务
chkconfig ntpd on		// 设置开机自启
ntpstat					// 查看状态

4、下载依赖

下载安装cloudera-manager-agent所需要的依赖

yum install -y cyrus-sasl-plain cyrus-sasl-gssapi portmap fuse-libs bind-utils libxslt fuse
yum install -y /lib/lsb/init-functions createrepo deltarpm python-deltarpm
yum install -y mod_ssl openssl-devel python-psycopg2 MySQL-python

5、安装 MySQL

第一步：下载依赖

yum install -y perl
yum install -y net-tools
yum install -y autoconf

第二步：删除冲突包

//查看冲突包
rpm -qa | grep mariadb
//删除冲突包
rpm -e --nodeps 冲突的包

第三步：先后安装客户端、服务端

rpm -ivh MySQL-client-5.6.46-1.el7.x86_64.rpm			//安装客户端
rpm -ivh MySQL-server-5.6.46-1.el7.x86_64.rpm			//安装服务端

第四步：修改配置文件

vi /usr/my.cnf

// 添加内容
[client]
default-character-set=utf8
[mysqld]
skip-grant-tables
character_set_server=utf8
collation_server=utf8_general_ci

第五步：修改MySQL密码

service mysql start
mysql

mysql> use mysql;
mysql> update user set password=password('123456');
mysql> quit

第六步：修改配置文件，注释免密登录

vi /usr/my.cnf

#skip-grant-tables

第七步：重置MySQL密码

service mysql restart				//重启MySQL
mysql -uroot -p						//输入密码登录
mysql> set password=password('123456');	//重设密码

第八步：MySQL赋权

grant all privileges on *.* to 'root'@'%' identified by '123456' with grant option;
flush privileges;

6、关闭selinux

setenforce 0
vi /etc/selinux/config
SELINUX=enforcing-->SELINUX=disabled
reboot

7、安装 httpd 服务

7.1、安装、启动服务

yum -y install httpd
yum -y install createrepo
systemctl start httpd.service
cd /var/www/html
mkdir -p cm6/6.2.1/redhat7/yum/RPMS/x86_64/
上传cmd6中的文件到此目录，上传allkeys.asc文件到/var/www/html/cm6/6.2.1/目录下
访问测试：http://192.168.8.51/cm6/6.2.1/redhat7/yum/RPMS/x86_64/

7.2、生成 repodata 目录

cd /var/www/html/cm6/6.2.1/redhat7/yum
createrepo .

7.3、配置本地yum源

cd /etc/yum.repos.d/
vi cloudera-manager.repo

[cloudera-manager]
name=Cloudera Manager
baseurl=http://192.168.8.51/cm6/6.2.1/redhat7/yum/
gpgcheck=0
enabled=1

// 清空yum缓存
yum clean all

8、连接 MySQL 准备

8.1、创建元数据库

mysql> GRANT ALL ON scm.* TO 'scm'@'%' IDENTIFIED BY 'scm';
mysql> CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
mysql> CREATE DATABASE hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
mysql> CREATE DATABASE oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
mysql> CREATE DATABASE hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

8.2、MySQL 赋权

mysql> grant all privileges on *.* to 'root'@'%' identified by 'bbibm001' with grant option;
mysql> grant all privileges on *.* to 'root'@'localhost' identified by 'bbibm001' with grant option;
mysql> grant all privileges on *.* to 'root'@'192.168.8.51' identified by 'bbibm001' with grant option;
mysql> flush privileges;

8.3、引入 jar 包

所有机器均做此操作

cp mysql-connector-java-5.1.38.jar /opt/cloudera/cm/lib
mkdir /usr/share/java
mv mysql-connector-java-5.1.38.jar mysql-connector-java.jar
cp mysql-connector-java.jar /usr/share/java/

9、安装 Server 服务

9.1、安装 cloudera-manager-daemons、cloudera-manager-agent

rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
rpm -ivh cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm

9.2、修改配置文件

所有机器均要修改 server_host

vi /etc/cloudera-scm-agent/config.ini

server_host=hostname

9.3、安装cloudera-manager-server

只需要在一台主机上安装

rpm -ivh cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm

9.4、上传CDH包到 parcel-repo

上传以下包到 /opt/cloudera/parcel-repo 目录下

CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel
CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel.sha
manifest.json

10、启动 server 服务

10.1、创建 jdk 软连接

mkdir -p /usr/java
ln -s /opt/jdk1.8.0_221/  /usr/java/default

10.2、启动 server

// 主机：初始化CDH server，密码为：scm
/opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm
systemctl start cloudera-scm-server

// 启动所有主机，启动cloudera-scm-agent
// systemctl start cloudera-scm-agent

10.3、查看启动状态

// 查看启动状态：
systemctl status cloudera-scm-server

查看端口号：
netstat -an | grep 7180

// 访问Server：默认账号、密码：admin
http://192.168.8.51:7180/cmf/login

vim /etc/cloudera-scm-server/db.properties

11、swappiness 和透明化

临时生效：
sysctl -w vm.swappiness=10
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
永久生效：
echo "vm.swappiness=10" >> /etc/sysctl.conf
echo "echo never > /sys/kernel/mm/transparent_hugepage/defrag" >> /etc/rc.local
echo "echo never > /sys/kernel/mm/transparent_hugepage/enabled" >> /etc/rc.local