CDH集群搭建

CDH5.14.4集群搭建

准备工作

#Linux查看版本当前操作系统发行版信息
cat /etc/redhat-release

#Linux查看cpu相关信息，包括型号、主频、内核信息等
 cat /proc/cpuinfo
 
 #将test.java 文件所属的用户设置成 yangyuanliang
 chown yangyuanliang test.php
 
 #将test.java 文件的所属用户设置成yangyuanliang，所属用户组设置成staff  
 chown yangyuanliang:staff test.php
 
 #将test 及其内部文件所属用户设置成yangyuanliang，所属用户组设置成staff
 chown -R yangyuanliang:staff test/ 

一、网络配置（所有节点）

1.1. 修改主机名

vim /etc/sysconfig/network

#添加以下内容
NETWORKING=yes
HOSTNAME=cdh1
NETWORKING_IPV6=no
PEERNTP=no

​ 重启网络服务

service network restart

hostname cdh1
hostname cdh2
hostname cdh3

​ 查看是否成功

hostname
#显示以下内容
cdh1

1.2. 修改ip与主机名的对应关系

vim /etc/hosts

#添加以下内容
192.168.254.130 cdh1
192.168.254.140 cdh2
192.168.254.150 cdh3

二、配置ssh免密登陆（所有节点）

2.1. 生成本地秘钥

ssh-keygen -t rsa  #不需要填写内容，一路回车

#copy秘钥
ssh-copy-id cdh1
ssh-copy-id cdh2
ssh-copy-id cdh3

#若ssh端口号不是默认22，例如改成了10022则用以下命令
ssh-copy-id -p 10022 cdh1
ssh-copy-id -p 10022 cdh2
ssh-copy-id -p 10022 cdh3

三、关闭Selinux（所有节点）

3.1. 更改属性内容

vim /etc/selinux/config

​ 显示如下：

​ 使 SELINUX=disabled ，SELINUXTYPE=targeted。

​ 更改后结果如下：

3.2 查看是否更改成功

/usr/sbin/sestatus -v

3.3 禁用大内存页面

echo never > /sys/kernel/mm/transparent_hugepage/defrag && echo never > /sys/kernel/mm/transparent_hugepage/enabled

#然后执行  在文件尾部追加
vim /etc/rc.local
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

3.4 设置swappiness为0

sysctl -w vm.swappiness=0
echo "vm.swappiness=0"  >> /etc/sysctl.conf

四、安装JDK（所有节点）

4.1. 卸载系统默认安装的open JDK

4.1.1 查找系统默认安装的JDK

rpm -qa | grep jdk	

4.1.2 卸载

rpm -e –nodeps （上一步查找到的JDK名称）

4.2. 安装JDK1.81

这里需要强调一下CDH5默认识别的jdk路径为：/usr/java/default

4.2.1 解压缩到指定目录

mkdir -p /usr/java/default && tar -zxvf jdk-8u181-linux-x64.tar.gz -C /usr/java/default

4.2.2 配置环境变量

#编辑配置文件
vim /etc/profile

#在最后添加
export JAVA_HOME=/usr/java/default/jdk1.8.0_181
export PATH=$JAVA_HOME/bin:$PATH

#通过source命令使配置文件马上生效
source /etc/profile

五、安装Mysql数据库（主节点）

5.1 卸载系统已安装Mysql数据库

5.1.1 查找系统Mysql

rpm -qa | grep mysql

5.1.2 卸载Mysql

rpm -e –nodeps （上一步查找到的mysql名称）

5.2 安装Mysql

5.2.1 卸载系统自带的Mariadb

# 查看系统自带的Mariadb
rpm -qa|grep mariadb
# 卸载系统自带的Mariadb
rpm -e --nodeps mariadb-libs-5.5.64-1.el7.x86_64
# 删除etc目录下的my.cnf
find / -name mysql
rm /etc/my.cnf

5.2.1 解压缩Mysql安装依赖包

tar -xvf mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar

5.2.2 安装依赖包

请严格按照以下命令顺序安装

rpm -ivh mysql-community-co