这里介绍的是cdh5的离线安装方式,需要的文件提前准备好,安装过程会快一些。
安装前提:机器配置内存一定要高,我这里安装的虚拟机均是redhat7:内存分别是6G,4G,4G。
准备的文件:
mysql-connector-java-5.1.38.jar
cloudera-manager-centos7-cm5.12.0_x86_64.tar.gz
manifest.json
CDH-5.12.0-1.cdh5.12.0.p0.29-el7.parcel.sha1
CDH-5.12.0-1.cdh5.12.0.p0.29-el7.parcel
1、 安装依赖,一个干净的操作系统,并能够上网。
yum install perl psmisc python-lxml gcc-* cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain -y
2、 修改安全策略。
sed -i's/SELINUX=enforcing/SELINUX=disabled/g' /etc/sysconfig/selinux
3、 关闭防火墙。
systemctl stop firewalld
systemctl disable firewalld
4、 安装mysql。
wget http://repo.mysql.com/mysql57-community-release-el7-9.noarch.rpm
rpm –ivh mysql57-community-release-el7-9.noarch.rpm
yum install mysql-server
mysqld –initialize
mysqld –user=root &
//查看/var/log/mysqld.log中随机密码,然后更改密码
mysqladmin –uroot –p password
//输入密码I18ohgK-VWYo
//输入新密码
//输入确认密码
更改root连接属性%,容许外部所有主机链接。
创建后续要用到的数据库
create database hive default charset utf8;
create database oozie default charset utf8;
create database hue default charset utf8;
create database reports default charset utf8;//5.12.0版本需要
5、 设置免秘钥登录,每台机器上都执行相同的操作。
ssh-keygen –t rsa –P “”
ssh-copy-id node01
ssh-copy-id node02
ssh-copy-id node03
6、 master节点
tar -xzf cloudera-manager-centos7-cm5.12.0_x86_64.tar.gz –C /opt/
这一步执行成功,会在/opt目录下生成cm-5.12.0和cloudera两个目录。我们需要将前面准备的三个文件均放入/opt/cloudera/parcel-repo文件夹中。
manifest.json
CDH-5.12.0-1.cdh5.12.0.p0.29-el7.parcel.sha1
CDH-5.12.0-1.cdh5.12.0.p0.29-el7.parcel
还需要修改CDH-5.12.0-1.cdh5.12.0.p0.29-el7.parcel.sha1为CDH-5.12.0-1.cdh5.12.0.p0.29-el7.parcel.sha,注意去掉后面的1。否则后面安装的时候就是在线安装,而不是离线安装。
接下来创建cm数据库。
/opt/cm-5.12.0/share/cmf/schema/scm_prepare_database.sh mysql cm -hnode01 -uroot -proot --scm-host localhost scm scm scm
修改/opt/cm-5.12.0/etc/cloudera-scm-agent/config.ini
[General]
#Hostname of the CM server.
server_host=node01
7、 复制/opt/cm-5.12.0到从节点上。
scm –r /opt/cm-5.12.0/ node02:/opt/
scm –r /opt/cm-5.12.0/ node03:/opt
为每个节点添加用户
useradd --system--home=/opt/cm-5.12.0/run/cloudera-scm-server/ --no-create-home--shell=/bin/false
--comment "cloudera-scm-user" cloudera-scm
8、 分别启动服务端和agent端服务。
node01
/opt/cm-5.12.0/etc/init.d/clouder-scm-server start
node02
/opt/cm-5.12.0/etc/init.d/clouder-scm-agent start
node03
/opt/cm-5.12.0/etc/init.d/clouder-scm-agent start
9、 登录http://node01:7180/ 用户名和密码均为admin,我这里地址是:http://10.119.9.149:7180/
进入主页,选择安装的版本
继续
查看管理的节点
可以考虑将主节点上的agent也启动,这样这里就有三个节点。
多了一个节点。
勾选全部主机,选择下一步,选择对应的版本。
安装开始
这一步安装完成的样子。
检查主机
echo 10 > /proc/sys/vm/swappiness
重新检测
拷贝mysql数据库驱动到hive依赖库中,只需要拷贝到hive安装的节点上。
cp mysql-connector-java-5.1.38.jar /opt/cloudera/parcels/CDH-5.12.0-1.cdh5.12.0.p0.29/lib/hive/lib/
下面一步选择默认。
数据库检查
数据库检查成功,继续
审核更改
开始安装
恭喜,安装成功。
最后附上文中相关文件下载地址:
ClouderaManager5.12.0:http://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.12.0_x86_64.tar.gz
CDH 5.12.0 主文件:http://archive.cloudera.com/cdh5/parcels/latest/CDH-5.12.0-1.cdh5.12.0.p0.29-el7.parcel
CDH 5.12.0sha文件:http://archive.cloudera.com/cdh5/parcels/latest/CDH-5.12.0-1.cdh5.12.0.p0.29-el7.parcel.sha1
manifest文件:http://archive.cloudera.com/cdh5/parcels/latest/manifest.json
安装成功之后,可以通过浏览器查看hue webui界面,访问地址是http://server:8888/
安装过程中可能会出现一些错误,基本就是由于mysql驱动jar包没有放到指定的位置导致的,另外可以到/opt/cm-5.12.0/run/cloudera-scm-agent/process/下查看安装的进度以及出错的日志。