手里有三台服务器,每台16内存,磁盘大小100G,搭建CDH集群
版本如下:
Centos7.6.1810
Mysql5.6.50
Cloudera-manager5.16.2
本文参考了网络上的CDH安装的文章
https://blog.csdn.net/czz1141979570/article/details/86658416)
https://blog.csdn.net/weixin_40079336/article/details/86648553
https://blog.csdn.net/u012448904/article/details/103702433
https://yq.aliyun.com/articles/341408
以及自己搭建时遇到的一些问题,进行说明
搭建CDH过程:
这里前提是默认已经配置好centos的ip,关闭防火墙,ssh免疫,ntp同步,hosts映射和连接外网等一些配置了
因为服务器上的是最小化安装,什么都没带,自己还得安装很多东西,个人安装centos时不推荐最小化安装
安装使用的root用户来安装
1、 安装JDK
安装jdk1.8以上版本,安装的目录必须要在/usr/java下面,因为CDH默认会从这里找
第一次安装时我安装在/opt下面,CDH会报错 检测不到jdk
查看机器是否自带jdk,进行卸载
1.创建这个文件夹,存放jdk
mkdir -p /usr/java/jdk1.8
tar -zxvf jdk-8u161-linux-x64.tar.gz -C /usr/java/
必须存放在这个目录,否则后期机器默认找不到jdk,还得手动指定,挺麻烦的
1.配置环境变量
vim /etc/profile
2./etc/profile中添加下面配置项
export JAVA_HOME=/usr/java/jdk1.8
export CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar
export PATH=$PATH:${JAVA_HOME}/bin
3.刷新环境变量使配置立即生效
source /etc/profile
4.检查JDK是否配置成功
java -version
2、安装Mysql
先安装Mysql,CHD集群的初始化数据和后续的组件(hive,oozie,cm的监控器和hue)的数据都会存放到Mysql中
1、先查看linux是否带有mariadb
rpm -qa|grep -i mariadb
2、 卸载mariadb
rpm -e --nodeps mariadb-libs
3、如果之前安装过mysql,需要卸载干净
rpm -qa |grep -i mysql
yum remove **********
find / -name mysql
rm -rf
rm -rf /etc/my.cnf
rm -rf /var/lo