CentOS7离线安装Cloudera Manager 5.14.1

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/chenhai201/article/details/78856007

前言

本文主要记录Centos7.4 离线安装CDH和Cloudera Manager。安装的版本为Cloudera Manager 5.14.1,如遇不同版本,安装方式大致相同。

内容 版本
CentOS 7.4 64位
JDK 1.7
Cloudera Manager 5.14.1

本次安装一共使用6台服务器,均在阿里云采用按量付费方式进行购买。各台服务器配置如下:

编号 配置(带宽1M,系统盘赠送的40GB存储足以) 内网IP(使用了专有网络) 用途
server01 2核16GB内存 192.168.0.108 主,安装CM
server02 2核8GB内存 192.168.0.109 从,slaver
server03 2核8GB内存 192.168.0.110 从,slaver
server04 2核8GB内存 192.168.0.111 从,slaver
server05 2核8GB内存 192.168.0.112 从,slaver
server06 2核8GB内存 192.168.0.113 从,slaver

由于安装过程涉及到下载耗时,建议先完成步骤1后再购买开通服务器,能省一点是一点。

1、提前下载各个离线安装包文件

由于国内网速原因,在开始操刀前,建议各位提前下载以下文件到本地备用,或先购买一台服务器用于下载文件。

1.1 下载JDK1.7(此版本不能使用1.8,CM安装时会重新在线下载1.7)

http://www.oracle.com/technetwork/java/java-archive-downloads-javase7-521261.html

由于Oracle官网限制,需要到上面网站去下载jdk-7u80-linux-x64.rpm 并上传到服务器上。
然后需要去https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.14.1/RPMS/x86_64/下载oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm,否则在步骤3.3会联网下载速度很慢。

1.2 下载CM软件包

访问:http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.14.1/RPMS/x86_64/
把上面的所有rpm包都下载回来本地。下载速度慢可以使用axel多线程下载

wget http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.14.1/RPMS/x86_64/cloudera-manager-agent-5.14.1-1.cm5141.p0.1.el7.x86_64.rpm

wget http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.14.1/RPMS/x86_64/cloudera-manager-daemons-5.14.1-1.cm5141.p0.1.el7.x86_64.rpm

wget http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.14.1/RPMS/x86_64/cloudera-manager-server-5.14.1-1.cm5141.p0.1.el7.x86_64.rpm

wget http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.14.1/RPMS/x86_64/cloudera-manager-server-db-2-5.14.1-1.cm5141.p0.1.el7.x86_64.rpm

wget http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.14.1/RPMS/x86_64/enterprise-debuginfo-5.14.1-1.cm5141.p0.1.el7.x86_64.rpm

1.3 下载cloudera-manager安装文件

访问:http://archive.cloudera.com/cm5/installer/5.14.1/
下载cloudera-manager-installer.bin

wget http://archive.cloudera.com/cm5/installer/5.14.1/cloudera-manager-installer.bin

1.4 下载rpm仓库文件

访问:http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/
下载cloudera-manager.repo,这个是按系统通用的,下载时不区分版本

wget http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/cloudera-manager.repo

1.5 下载parcel(较大,1.8GB)

访问:http://archive.cloudera.com/cdh5/parcels/5.14.0.24/
下载centos 对应的 parcel ,el7表示centos 7 版本

wget http://archive.cloudera.com/cdh5/parcels/5.14.0.24/CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel

wget http://archive.cloudera.com/cdh5/parcels/5.14.0.24/CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel.sha1

2、服务器基础环境准备

可以购买服务器了,本节主要对服务器基本环境进行设置

2.1 所有节点修改hostname(重启生效)及hosts

为了便于安装过程中对各个服务器的访问更易区分、更便捷,我们需要分别对各个服务器修改hostname及hosts

hostnamectl --static set-hostname server01

修改hosts:

vim /etc/hosts

根据自己的6台服务器IP地址,在最后面增加:

192.168.0.108 server01 
192.168.0.109 server02 
192.168.0.110 server03 
192.168.0.111 server04 
192.168.0.112 server05 
192.168.0.113 server06 

保存退出即可。

2.2 所有节点关闭防火墙和selinux(重启生效)

关闭防火墙:

systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall开机启动
firewall-cmd --state #查看默认防火墙状态(关闭后显示notrunning,开启后显示running)

关闭selinux:

vim /etc/selinux/config

找到SELINUX改为:
SELINUX=disabled

2.3 所有节点ssh无密码登录

先在server01上执行:

ssh-keygen -t rsa   #一路回车到完成

ssh-copy-id -i ~/.ssh/id_rsa.pub root@server01   #将公钥拷贝到本机的authorized_keys上

再在其他节点分别执行以下命令:

ssh-keygen -t rsa   #一路回车到完成

ssh-copy-id -i ~/.ssh/id_rsa.pub root@server01   #注意此处不变,将公钥拷贝到server01的authorized_keys上

在server01上,将authorized_keys分发到其他节点服务器:

scp ~/.ssh/authorized_keys root@server02:~/.ssh/

scp ~/.ssh/authorized_keys root@server03:~/.ssh/

scp ~/.ssh/authorized_keys root@server04:~/.ssh/

scp ~/.ssh/authorized_keys root@server05:~/.ssh/

scp ~/.ssh/authorized_keys root@server06:~/.ssh/

2.4 JDK安装

将步骤1.1下载好的jdk使用scp命令(同上一步骤)分发到不同的节点上,分别在每个节点执行以下操作:

卸载系统自带JDK

rpm -qa |grep java   #如果有就卸载。没有就不用执行下面

yum remove java*   #删除自带的java

切换到jdk所在目录,执行安装命令

rpm -ivh jdk-7u80-linux-x64.rpm
rpm -ivh oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm #CM安装需要这个,否则会重新联网下载,造成安装速度非常缓慢

设置环境变量:

vim /etc/profile

在最后面增加:

export JAVA_HOME=/usr/java/jdk1.7.0_80
export CLASSPATH=.:$CLASSPTAH:$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin

退出保存,执行以下命令使环境变量生效,并验证JDK安装是否正确。

source /etc/profile    #使环境变量生效

java -version       #查看JDK是否安装正确

2.5 安装ntp时间同步软件

所有节点时间一致非常重要,要不然启动Cloudera Manager服务后,后台会报错。

所有节点执行:

yum install ntp -y

安装完成后,阿里云的服务器会自动使用阿里云的ntp服务器进行同步,故可不再进行下面的配置,直接进入2.6节,若其他没有统一ntp服务器进行同步的,则还需要以下设置:
配置NTP,在server01节点

vim /etc/ntp.conf

修改成如下配置:

server s1a.time.edu.cn prefer

server 0.centos.pool.ntp.org iburst
server 1.centos.pool.ntp.org iburst
server 2.centos.pool.ntp.org iburst
server 3.centos.pool.ntp.org iburst

然后先进行一次时间同步:

/usr/sbin/ntpdate s1a.time.edu.cn

在server02~06上,修改/etc/ntp.conf配置改为以下

server server01
server 0.centos.pool.ntp.org iburst
server 1.centos.pool.ntp.org iburst
server 2.centos.pool.ntp.org iburst
server 3.centos.pool.ntp.org iburst

子节点需要定期同步主节点的时间,所以需要在各个子节点增加一个定时任务:

#每个从节点,从master节点同步时间
ntpdate server01 
#做一个计划任务(从节点)
crontab -e
#表示每3小时同步一次时间
00 */3 * * * /usr/sbin/ntpdate  server01 >> /root/ntpdate.log 2>&1
#查看计划任务
crontab  -l

所有子节点ntp加入开机启动

chkconfig ntpd on

最后所有服务器检查一下时间是否一致即可。

2.6 上传安装文件

为了便于执行命令,我们将在所有节点中创建~/soft/这样一个目录,并在此目录下进行以下安装操作。如果步骤1中是下载到本地电脑的,则通过xftp等方式将文件上传到主服务器上,再使用scp命令将各个文件拷贝到对应的主机上。主节点和子节点分别需要的文件整理如下:

服务器 用途 所需文件
server01 cloudera-manager-agent-5.14.1-1.cm5141.p0.2.el7.x86_64.rpm
cloudera-manager-daemons-5.14.1-1.cm5141.p0.2.el7.x86_64.rpm
cloudera-manager-server-5.14.1-1.cm5141.p0.2.el7.x86_64.rpm
cloudera-manager-server-db-2-5.14.1-1.cm5141.p0.2.el7.x86_64.rpm
enterprise-debuginfo-5.14.1-1.cm5141.p0.2.el7.x86_64.rpm
cloudera-manager-installer.bin
cloudera-manager.repo
CDH-5.14.1-1.cdh5.14.1.p0.2-el7.parcel
CDH-5.14.1-1.cdh5.14.1.p0.2-el7.parcel.sha1
server02~server06 cloudera-manager-agent-5.14.1-1.cm5141.p0.2.el7.x86_64.rpm
cloudera-manager-daemons-5.14.1-1.cm5141.p0.2.el7.x86_64.rpm
cloudera-manager.repo

至此,所有设置完成。开始Cloudera Manager安装吧!

3 Cloudera Manager安装

3.1 server01主机安装:

cd ~/soft/  #根据2.6约定,所有文件均在此目录下

修改仓库文件cloudera-manager.repo,把版本号加上

[cloudera-manager]
name = Cloudera Manager
baseurl = https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.14.1/  #主要改这里的版本号
gpgkey = https://archive.cloudera.com/redhat/cdh/RPM-GPG-KEY-cloudera
gpgcheck = 1

开始server01的安装:

yum localinstall --nogpgcheck *.rpm

3.2 从机安装

同3.1,修改cloudera-manager.repo
开始server02~06的安装:

yum localinstall --nogpgcheck *.rpm

最后在server01~06节点检查我们安装包

yum list | grep cloudera

3.3 安装cloduera manager二进制安装包

进入server01的cloudera-manager-installer.bin所在目录
设置安装权限:

chmod u+x cloudera-manager-installer.bin

执行安装命令:

./cloudera-manager-installer.bin

如果提示需要删除配置文件,则删除该文件

rm -rf /etc/cloudera-scm-server/db.properties

重新执行安装命令,根据安装向导一路next。注意,如果之前master上没有手动安装rpm包此时就会联网下载,下载速度一般都较慢,太费时间。

相同配置下顺利安装时间在1分钟内即可完成。
然后我们在web浏览器访问 http://192.168.0.108:7180/,看是否能打开页面即可,先不要进行登录操作。

注意:chd server服务器启动需要一些时间,等1分钟左右。

如果能访问,那证明 cloudera manager安装正常。

4 CDH服务安装

4.1 制作本地parcel

前面完成cloudera manager安装之后server01会在/opt目录下生成cloudera文件夹,将之前下载好的CDH-*文件移动到parcel-repo文件夹中

mv CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel /opt/cloudera/parcel-repo/
mv CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel.sha1 /opt/cloudera/parcel-repo/CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel.sha  #注意这里有重命名

将cloudera manager的用户授权给/opt和日志目录:

chown cloudera-scm.cloudera-scm  /opt  -R
chown cloudera-scm.cloudera-scm  /var/log/cloudera-scm-agent -R

重启cloudera-scm-server(重要

/etc/init.d/cloudera-scm-server restart

重启速度较慢,约1分钟后访问 http://192.168.0.108:7180/ 登陆,账号密码 admin
选择免费版本,一路next开始安装。

搜索主机
这里需要填写我们集群定义的ip或者服务器名称(包括安装CM的主机本身),点击搜索,即可加载出所有主机。全选所有主机,并继续。
默认即可
这里会出现我们之前mv过去的CDH版本,选择并继续。
不选jdk
这里写图片描述
这里写图片描述
这里写图片描述
如果之前的操作没有问题,这里将会很快完成
这里写图片描述
这里写图片描述
这里写图片描述
接下来,根据需要进行配置或保持默认不变即可,一路继续完成安装。
这里写图片描述
完成安装后,进入系统
这里写图片描述

阅读更多
想对作者说点什么?

博主推荐

换一批

没有更多推荐了,返回首页