CDH-6.3.2部署手册 已验证

一、安装环境准备：

1、虚拟机中安装centos 7 以上版本

1.1、修改主机名及映射（全部节点）

vi /etc/hostname
vi /etc/hosts

1.2、关闭防火墙（全部节点）

firewall-cmd --state          # 查看防火墙状态
systemctl stop firewalld      # 停止防火墙的服务
systemctl disable firewalld   # 禁止开机启动

1.3、selinux关闭（全部节点）

编辑文件，修改SELINUX的值为disable

vi /etc/sysconfig/selinux
SELINUX=disabled

查看状态 ：

sestatus -v

1.4、配置免密登录（SSH）

自行百度

1.5、时间同步NTP

所有节点安装ntp

yum -y install ntp

主节点：

vi /etc/ntp.conf

先注释四个server 然后添加server主机ip

vi /etc/sysconfig/ntpd
SYNC_CLOCK=yes

启动服务

systemctl start ntpd.service
​
systemctl enable ntpd.service
​
service ntpd status

其他节点：

Crontab -e

写入：

*/10 * * * * /usr/sbin/ntpdate 主节点

1.6、修改系统参数（全部节点）

sysctl vm.swappiness=10
echo 'vm.swappiness=10'>> /etc/sysctl.conf
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo 'echo never > /sys/kernel/mm/transparent_hugepage/defrag' >> /etc/rc.local
echo 'echo never > /sys/kernel/mm/transparent_hugepage/enabled' >> /etc/rc.local
若有执行报错可先跳过，后面服务启动后，可能会遇到以下问题，请参考以下方式：
已启用透明大页面压缩，可能会导致重大性能问题
echo "echo never > /sys/kernel/mm/transparent_hugepage/defrag" >> /etc/rc.local
echo "echo never > /sys/kernel/mm/transparent_hugepage/enabled" >> /etc/rc.local
chmod +x /etc/rc.d/rc.local

1.7、安装http

yum -y install httpd

启动服务

service httpd start
service httpd status

1.8、安装依赖（全部机器）

yum -y install chkconfig
yum -y install bind-utils
yum -y install chkconfig
yum -y install cyrus-sasl-gssapi
yum -y install cyrus-sasl-plain
yum -y install fuse
yum -y install fuse-libs
yum -y install gcc
yum -y install libxslt
yum -y install mod_ssl
yum -y install MySQL-python
yum -y install openssl
yum -y install openssl-devel
yum -y install perl
yum -y install portmap
yum -y install postgresql-server
yum -y install psmisc
yum -y install python-devel
yum -y install python-psycopg2
yum -y install python-setuptools
yum -y install sed
yum -y install sqlite
yum -y install swig
yum -y install zlib
yum install lsb

二、集群部署规划：

master CentOS-7.3 4核 8G 100G 192.168.1.101 hadoop01

slave CentOS-7.3 4核 8G 100G 192.168.1.102 hadoop02

slave CentOS-7.3 2核 4G 100G 192.168.1.103 hadoop03

三、 安装包准备:

3.1、阿里云盘下载地址：

阿里云盘分享

提取码: 0qh6

3.2、JDK安装

注意不能使用系统自带的open-jdk

安装好以后，另外需在每台机器上执行以下操作：

mkdir -p /usr/java
ln -s /data/module/jdk1.8.0_261 /usr/java/default
说明：/data/module/jdk1.8.0_261为安装jdk的地址，就是JAVA_HOME地址

3.3、安装mysql

此过程不在此介绍，安装自行百度，本地安装推荐使用容器化安装，简单更好管理；

四、安装CM

4.1、安装deamons（全部节点）

rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm

4.2 安装agent（全部节点）

rpm -ivh cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm

4.3 配置agent的server节点（全部节点）

cp /etc/cloudera-scm-agent/config.ini /etc/cloudera-scm-agent/config.ini.template
​
vim /etc/cloudera-scm-agent/config.ini
server_host=hostname(主节点主机名)

4.4 安装server（主节点）

rpm -ivh cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm

五、启动CM

5.1、上传CDH安装包下的3个包到parcel-repo

mv CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha

将/opt/cloudera/parcel-repo 下的文件复制到 /var/www/html/cdh6_parcel/

5.2、修改配置

vim /etc/cloudera-scm-server/db.properties

com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.host=hadoop01(安装mysql的主机名)
com.cloudera.cmf.db.name=scm (数据库名称，如果库不存在，需要先创建)
com.cloudera.cmf.db.user=root（mysql账号）
com.cloudera.cmf.db.setupType=EXTERNAL
com.cloudera.cmf.db.password=密码（mysql密码）

5.3、启动server（主节点）

启动命令：service cloudera-scm-server start
查看server状态：systemctl status cloudera-scm-server  

5.4 启动agent（全部节点）

启动命令：service cloudera-scm-agent start
查看agent状态：systemctl status cloudera-scm-agent   

5.5、查看日志

tail -200f /var/log/cloudera-scm-server/cloudera-scm-server.log

查看端口：netstat -nltp

六、访问网页安装CDH集群

http://[server-host]:7180/cmf/login

账号：admin

密码：admin

进行访问，根据提示进行安装

七、界面操作进行安装

界面部分可参考：CDH6.3.2实战1：安装与配置_000X000的博客-CSDN博客

八、问题点总结

当时遇到几个问题点如下：

1、安装包中缺少了CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel 文件，该文件有1g多大小

2、JDK没有执行

mkdir -p /usr/java ln -s /data/module/jdk1.8.0_261 /usr/java/default 说明：/data/module/jdk1.8.0_261为安装jdk的地址，就是JAVA_HOME地址

3、已启用透明大页面压缩，可能会导致重大性能问题 echo "echo never > /sys/kernel/mm/transparent_hugepage/defrag" >> /etc/rc.local echo "echo never > /sys/kernel/mm/transparent_hugepage/enabled" >> /etc/rc.local chmod +x /etc/rc.d/rc.local