centos7下安装CDH5.12集群

一、环境准备：

 

 需要的小伙伴联系博主，私信邮箱1556554374@qq.com

1.本人集群搭建的ip地址三台分别为192.168.1.171~173(三台机器都要执行)

分别修改主机名为cdh1、cdh2、cdh3(如vim没有安装，自行使用命令 yum install vim)

vim /etc/hostname

分别修改hosts文件

vim /etc/hosts

 编辑完之后分别重启三台机器

2.卸载OpenJDK（所有机器都要执行）

输入命令查看是否有jdk

rpm -qa | grep java

如果有就使用命令卸载openjdk

yum remove java*

3.安装Oracle JDK

• 在/usr目录下新建java目录：mkdir java
• 将jdk-8u171-linux-x64.rpm上传到 /usr/java

• 用下列命令安装oracle jdk

  rpm -ivh jdk-8u171-linux-x64.rpm

• 配置环境变量 vim /etc/profile

export JAVA_HOME=/usr/java/jdk1.8.0_171-amd64
export JRE_HOME=/usr/java/jdk1.8.0_171-amd64/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

• 添加到文档最后，执行完之后输入命令

source /etc/profile

• 查看安装结果 

• java -version
  

  

如上图结果说明jdk已经安装成功

4.关闭防火墙（所有机器都要执行）

systemctl stop firewalld.service

关闭关机启动

 systemctl disable firewalld.service

5.关闭SELinux（所有机器都要执行）

查看SELinux状态

getenforce

如果不是Disabled，修改SELinux=disabled,需要重启机器，输入命令:

vi /etc/selinux/config

配置完成，输入命令reboot重启

6.三台机器ssh免密

生成公钥密钥，输入命令:

ssh-keygen -t rsa

然后一直回车下去，直到输入密码

将公钥发送到其他服务器上

ssh-copy-id 主机名（本人主机名cdh1、cdh2、cdh3）

 免密测试(各个主机直接通过ssh无密链接):

 7.设置ntp服务

• ntp服务的安装和配置

• yum -y install ntp

  执行一次同步

• ntpdate -u time1.aliyun.com

  更改所有节点，输入命令:

• vi /etc/ntp.conf

  注释掉所有server *.*.*.*的指向，添加一条阿里提供的Unix类系统NTP服务

• 

• 添加server time1.aliyun.com prefer

重启ntp服务,输入命令：

systemctl enable ntpd
systemctl restart ntpd

开启ntp服务

vim /etc/sysconfig/ntpd

输入命令ntpstat查看同步状态：

八..下载：cloudera-manager.repo（http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/cloudera-manager.repo）

将此镜像放入到下图所示的路径下：

编辑镜像文件，输入本地源:

vim cloudera-manager.repo

 

此路径是你配置的httpd服务上放置文件的路径

九.配置httpd服务（所有节点）

yum install httpd -y

 装完之后进入/var/www/html/,输入命令创建目录：

mkdir -p cm5/redhat/7/x86_64/cm/5.12.2/RPMS/x86_64

将

cloudera-manager-agent-5.9.0-1.cm590.p0.249.el7.x86_64.rpm

cloudera-manager-daemons-5.9.0-1.cm590.p0.249.el7.x86_64.rpm

cloudera-manager-server-5.9.0-1.cm590.p0.249.el7.x86_64.rpm

cloudera-manager-server-db-2-5.9.0-1.cm590.p0.249.el7.x86_64.rpm

enterprise-debuginfo-5.9.0-1.cm590.p0.249.el7.x86_64.rpm

jdk-6u31-linux-amd64.rpm

上传到

/var/www/html/cm5/redhat/7/x86_64/cm/5.12.2/RPMS/x86_64

放置完会用浏览器进入http://192.168.1.171/cm5/redhat/7/x86_64/cm/5.12.2/RPMS/x86_64/

10.配置本地源（主节点）

安装createrepo程序（主节点）

yum install yum-utils createrepo

 在该目录下，制作repodata文件

createrepo -d /var/www/html/cm5/redhat/7/x86_64/cm/5.12.2/RPMS/x86_64/

11.在所有节点上拷贝安装文件

输入命令：

yum clean all
yum list|grep cloudera

12.将下载的RPMS所有文件，拷贝到/opt/cloudera-RPMS/目录下

新建目录:mkdir cloudera-RPMS

 slave中不需要安装server的包，只需要安装下面两个

cloudera-manager-agent-5.9.0-1.cm590.p0.249.el7.x86_64.rpm

cloudera-manager-daemons-5.9.0-1.cm590.p0.249.el7.x86_64.rpm

master:

slave:

 13.将下载的CDH-Parcel文件（三个）拷贝到/opt/cloudera/parcel-repo目录下

CDH-5.9.0-1.cdh5.9.0.p0.23-el7.parcel

CDH-5.9.0-1.cdh5.9.0.p0.23-el7.parcel.sha

manifest.json

14.执行以下命令：(所有节点都要执行)

cd /opt/cloudera-RPMS
yum -y localinstall --nogpgcheck *.rpm
yum -y install fuse fuse-libs httpd mod_ssl openssl-devel python-psycopg2 MySQL-python 
yum -y install postgresql-server

15.安装cm（在主节点执行）

将cloudera-manager-installer.bin拷贝到/opt目录下

在此目录下，执行安装:

 ./cloudera-manager-installer.bin

 一路next和yes,所有需要联网的rpm包已经提前下载了，所以安装过程会很快

安装完成。

CDH集群安装

安装完成之后，访问CloudreaManager

http://hostname:7180/

账号密码都是admin/admin

服务需要启动，等一分钟

 

 

 

 

 

 

 

 

 

 

 

到这一步集群就安装完成

 然后添加所需要的服务：