CDH6.2安装手册

CDH6.2安装手册

一、系统信息：

1.系统配置及软件环境：

cpu：16c

mem：47g+swap2g

disk：/ 17g xfs  /data 500g xfs

net：10000M/s

 

CentOS Linux release 7.4.1708 (Core)

CDH6.2.0

CDSW1.6.0

mysql5.7

jdk1.8.0_221

mysql-connector-java-8.0.17

 

2.服务分配：

10.12.9.91：cm-server，cm-agent，mysql，jdk

10.12.9.92：cm-agent，jdk

10.12.9.93：cm-agent，jdk

 

---------------------------------------( 二、准备软件 )--------------------------------------------------------------

一、准备工作：

1.下载cdh组件安装包：

https://archive.cloudera.com/cm6/6.2.0/redhat7/yum/RPMS/x86_64/

cloudera-manager-agent-6.2.0-968826.el7.x86_64.rpm

cloudera-manager-daemons-6.2.0-968826.el7.x86_64.rpm

cloudera-manager-server-6.2.0-968826.el7.x86_64.rpm

cloudera-manager-server-db-2-6.2.0-968826.el7.x86_64.rpm

 

2.下载cdh parcel包：

https://archive.cloudera.com/cdh6/6.2.0/parcels/

CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel

CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel.sha1

 

https://archive.cloudera.com/cdsw1/1.6.0/parcels/

CDSW-1.6.0.p1.1294376-el7.parcel

CDSW-1.6.0.p1.1294376-el7.parcel.sha

 

3.下载mysql5.7（可跳过）：

mysql-5.7.26.tar.gz

 

4.下载mysql-connect-java.jar：

mysql-connector-java-8.0.17.tar.gz

 

5.下载CentOS7镜像：

CentOS-7-x86_64-DVD-1810.iso

 

6.下载boost：

http://sourceforge.net/projects/boost/files/boost/1.59.0/boost_1_59_0.tar.gz

 

7.所有机器创建目录（可跳过）：

mkdir -p /data/repos

mkdir -p /data/cloudera/

chmod -R 777 /data/repos

 

8.将所有下载内容上传至一台服务器临时目录中：

10.12.9.91:/data/repos

 

9.将agent有关的包拷贝至对应机器上

cd /data/repos/

scp cloudera-manager-agent-6.2.0-968826.el7.x86_64.rpm

cloudera-manager-daemons-6.2.0-968826.el7.x86_64.rpm

mysql-connector-java-8.0.17.tar.gz goldwind@10.12.9.92:/data/repos/

 

scp cloudera-manager-agent-6.2.0-968826.el7.x86_64.rpm

cloudera-manager-daemons-6.2.0-968826.el7.x86_64.rpm

mysql-connector-java-8.0.17.tar.gz goldwind@10.12.9.93:/data/repos/

 

 

---------------------------------------( 三、开始进行配置 )--------------------------------------------------------------

 

一、底层配置（所有机器）：

1.修改每台机器的主机名：

hostnamectl set-hostname node-91

hostnamectl set-hostname node-92

hostnamectl set-hostname node-93

 

2.将集群所有机器的host信息更新至集群当中每台的/etc/hosts中：

vim /etc/hosts

 

3.关闭所有机器的selinux：

修改/etc/selinux/config 配置文件，

SELINUX=disabled，保存后重启系统

 

4.关闭所有机器的防火墙

service firewalld stop

chkconfig firewalld off

service firewalld status

 

5.挂载系统镜像（可跳过）：

mount -o loop /data/repos/CentOS-7-x86_64-DVD-1810.iso /mnt

 

6. 将之前的yum repo文件迁移（可跳过）：

mkdir –p /etc/yum.repos.d/bak

mv /etc/yum.repos.d/* /etc/yum.repos.d/bak/

 

7.编写yum repo文件（可跳过, 使用其他方式）：

cd /etc/yum.repos.d/

vim centos7.repo

[centos7-iso]

name=centos7-iso

 

baseurl=file:///mnt/

enabled=1

gpgcheck=0

 

8.安装底层基础包：

yum install httpd mod_ssl python-psycopg2 MySQL-python redhat-lsb  openssl-devel -y

 

9.配置mysql-connect-java：

tar zxf mysql-connector-java-8.0.17.tar.gz

cp mysql-connector-java-8.0.17.jar /usr/share/java/mysql-connector-java.jar

 

10.修改内核参数：

vim /etc/sysctl.conf

 

vim /proc/sys/vm/swappiness

默认是30，cdh6安装建议最大是10

修改命令：

临时解决：

通过 echo 10 > /proc/sys/vm/swappiness  即可解决。

永久解决：

sysctl -w vm.swappiness=10

echo vm.swappiness = 10 >> /etc/sysctl.conf

echo  net.core.somaxconn=32768  >> /etc/sysctl.conf

echo sysctl –p >> /etc/sysctl.conf

 

验证：

cat /proc/sys/vm/swappiness

cat /etc/sysctl.conf

 

11.调整最大文件打开数：

vim /etc/security/limits.conf

* soft nofile 65535

* hard nofile 65535

* soft nproc 65535

* hard nproc 65535

 

12.关闭透明大页：

手动执行：

echo never > /sys/kernel/mm/transparent_hugepage/defrag

echo never > /sys/kernel/mm/transparent_hugepage/enabled