CDH5.12.1

CDH部署

*Centos7中安装CDH5.12.1*

hostname	ip
node1(master)	172.17.134.226
node2	172.17.134.226
node3	172.17.134.226

下载安装包

仅node1节点执行

CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel
CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1
cloudera-manager-centos7-cm5.12.1_x86_64.tar.gz
manifest.json
mysql-connector-java-5.1.45-bin.jar

安装jdk

所有节点执行

wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u131-b11/d54c1d3a095b4ff2b6607d096fa80163/jdk-8u131-linux-x64.tar.gz

mkdir /usr/java
tar xf tar xf jdk-8u131-linux-x64.tar.gz -C /usr/java

vim /etc/profile
JAVA_HOME=/usr/java/jdk1.8.0_131
PATH=${JAVA_HOME}/bin:$PATH

建议：所有节点java环境参照此处配置，将java解压至/usr/java/下，可避免必要麻烦

ls /usr/java/jdk1.8.0_131/

关闭防火墙

所有节点执行

systemctl stop firewalld

SELinux

set enforce 0 （临时生效）
修改 vim /etc/selinux/config 下的
SELINUX=disabled （重启后永久生效）

安装mysql

仅一台服务器执行，以node1为例

https://www.jianshu.com/p/8c596b08b90e?v=1688637409730

ntpd服务

所有节点执行

网络配置

配置三台服务器互相免密

所有节点执行，node1为为例

vim /etc/hostname
node1

每台服务器添加

172.17.134.226 node1
172.17.134.227 node2
172.17.134.228 node3

设置免密

ssh-keygen -t rsa
ssh-copy-id username@remote_server

如果找不到该命令 ssh-copy-id，手动复制公钥

或者其余方法，达到免密效果即可

cat ~/.ssh/id_rsa.pub
#目标服务器
touch ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys

安装Cloudera Manager

安装前先保证机器上安装了python，不过一般centos7都默认安装了python2.7.5

所有节点创建cloudera-scm用户

useradd --system --home-dir /opt/cm-5.12.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

仅node1节点执行

tar -zxvf /app/cloudera-manager-centos7-cm5.12.1_x86_64.tar.gz -C /opt

vim /opt/cdh5.12.1/etc/cloudera-scm-agent/config.ini 
#修改server_host参数为node1节点
server_host=node1

建议：建议直接解压至/opt目录可以避免很多问题,或者解压至其他目录后创建软连接

ln -s cm-5.12.1/ /opt/cm-5.12.1
ln -s cloudera/ /opt/clouder

将mysql驱动copy到/opt/cm-5.12.1/share/cmf/lib/中

cp /opt/cdh5.12.1/mysql-connector-java-5.1.44-bin.jar /opt/cm-5.12.1/share/cmf/lib/

所有节点执行

scp -r /opt/cdh5.12.1/ root@node1:/opt/
scp -r /opt/cdh5.12.1/ root@node2:/opt/
scp -r /opt/cdh5.12.1/ root@node3:/opt/

主节点初始化CM5的数据库

/opt/cm-5.12.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hnode1 -uroot -pGjxx@Ak1q2w3e --scm-host node1 scm
Enter SCM password：Gjxx@Ak1q2w3e

安装kafka(推荐安装)

配置CDH源，只需要在master节点安装即可；

KAFKA-3.0.0-1.3.0.0.p0.40-el7.parcel
KAFKA-3.0.0-1.3.0.0.p0.40-el7.parcel.sha1
manifest.json

将上述两个文件移动到/opt/cloudera/parcel-repo/ 目录下

cp KAFKA-3.0.0-1.3.0.0.p0.40-el7.parcel /opt/cloudera/parcel-repo/
cp KAFKA-3.0.0-1.3.0.0.p0.40-el7.parcel.sha1 /opt/cloudera/parcel-repo/
#注意修改 KAFKA-3.0.0-1.3.0.0.p0.40-el7.parcel.sha1 为 KAFKA-3.0.0-1.3.0.0.p0.40-el7.parcel.sha
mv KAFKA-3.0.0-1.3.0.0.p0.40-el7.parcel.sha1 KAFKA-3.0.0-1.3.0.0.p0.40-el7.parcel.sha

将上述manifest.json文件追加至/opt/cloudera/parcel-repo/manifest.json文件中

cat manifest.json >>/opt/cloudera/parcel-repo/manifest.json

启动server

仅node1(master)节点执行

/opt/cdh5.12.1/etc/init.d/cloudera-scm-server start

启动Agent

/opt/cdh5.12.1/etc/init.d/cloudera-scm-agent start

访问

172.17.134.226:7180
admin:admin