大数据集群安装CDH方式

需求背景

去年因双减政策影响，导致公司一直缩减成本，大数据测试环境下线，随着公司的转型，业务数据的增多，一直在线上环境进行操作有各种不便，因此需要重新搭建测试环境，同时因为之前离线使用HDP的方式部署，没有交接，因此后续的一些修改也不方便进行重启集群，因此准备后续将公司所有的集群部署转为CDH方式。
CDH版本：6.3.1
JDK版本：1.8
MySQL版本：5.6.24
学生时代搭建过HDP+CDH，现在没有找到ambari的包，还是选择CDH的方式，后面也可以做二次开发以及一些框架的集成

因为机器数量问题，nginx并没有配置，HA没有配置，Mysql的主从库也没有配置😭

环境准备

机器准备

公司OP批了5台机器，其中两台4核8G，三台8核16G，需要配置关闭防火墙，ip和hostname。

1 SSH免密登录

配置5台服务器之间的ssh免密登录，虽然CM（CDH公司）是通过server和agent进行通信，但是ssh的配置可以方便我们进行文件互传等，也方便后续的管理及一些二次开发。
1）生成ssh公钥

[root@l-bigdata-cdh1.cmp.pre.ali.dm .ssh]# ssh-keygen -t rsa

在第一台机器上安装后，复制id_rsa.pub的内容，追加到其余机器的authorized_keys中即可免密登录（此时可能发生可以通过ssh ip连接，无法ssh hostname连接，检查/etc/hosts是否已经配置了映射）

10.29.3.119 l-bigdata-cdh2.cmp.pre.ali.dm
10.29.3.121 l-bigdata-cdh3.cmp.pre.ali.dm
10.29.3.120 l-bigdata-cdh4.cmp.pre.ali.dm
10.29.3.122 l-bigdata-cdh5.cmp.pre.ali.dm
ssh配置完成

2 JDK安装

先在opt目录下创建两个目录，分别放jar包和安装的框架

[root@l-bigdata-cdh1.cmp.pre.ali.dm opt]# mkdir module
[root@l-bigdata-cdh1.cmp.pre.ali.dm opt]# mkdir software

一般申请的服务器都会有Java环境，如果没有的，Java的安装也比较简单

[root@l-bigdata-cdh1.cmp.pre.ali.dm software]# rpm -ivh oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm

配置环境变量
分发到其余节点

scp -r javapath root@hostname:/path

输入java javac java -version进行验证

3 Mysql安装

mysql我直接使用了已有的mysql进行配置，配置的话可以参考这篇文章
MySQL安装配置