利用Centos7 搭建Cloudera CDH5.13.1（纯离线）

资源下载

CM：
http://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.13.1_x86_64.tar.gz

插件：
http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.13.1/RPMS/x86_64/cloudera-manager-daemons-5.13.1-1.cm5131.p0.2.el7.x86_64.rpm
http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.13.1/RPMS/x86_64/cloudera-manager-agent-5.13.1-1.cm5131.p0.2.el7.x86_64.rpm

CDH：
http://archive.cloudera.com/cdh5/parcels/latest/CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel.sha1
http://archive.cloudera.com/cdh5/parcels/latest/CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel
http://archive.cloudera.com/cdh5/parcels/latest/manifest.json

安装步骤

1. 修改机器名,依次修改为master,slave1,slave2：

 hostnamectl set-hostname hostname

2. 为主机设置可信

输入以下命令，然后一路回车

ssh-keygen -t rsa

通过scp 将所有id_rsa.pub集中到master,然后执行

cat id_rsa.pub* >authorized_keys
chmod -R 700 ~/.ssh

        将authorized_keys发送到其它机器，同时执行chmod命令

3. 安装Mysql(centos 7 自带mariadb可用)

安装方法略，可使用rpm安装或yum安装。此处仅提供找回密码方法

        mysql 5.7以后版本（或mariadb）root自带随机密码，可按如下步骤操作初使化。

        使用系统自带的mariadb或新安装mysql时，先启动数据库：

service mariadb start 或
service mysqld start

启动时，会对Mysql （或 mariadb ）数据库进行初使化，在/var/log/mysqld.log（ mariadb日志也在这里）日志中，搜索password，会提示默认随机密码，然后用此密码登陆修改。若想使用弱密码，请使用以下两个参数，

global validate_password_policy=0;//去除弱密码限制,最好设置在my.cnf中
global validate_password_length=4; //将默认为8的长度改为4

修改参数后，重启数据库，再进行密码重置。

SET PASSWORD = PASSWORD('123456');

4. 安装JDK和配置NTP（略）

tar -zxvf jdk-7u80-linux-x64.tar.gz -C /opt
vi /etc/profile
export JAVA_HOME=/opt/jdk1.7.0_80/
export PATH=$JAVA_HOME/bin:$PATH:/opt/cm-5.13.1/etc/init.d/

5. 安装CM

解压CM：

tar -zxvf cloudera-manager-centos7-cm5.13.1_x86_64.tar.gz -C /opt

修改agent配置

vi /opt/cm-5.10.0/etc/cloudera-scm-agent/config.ini

将其中的host_server修改为master之后，保存。新建用户

useradd --system --home-dir /opt/cm-5.13.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

       初使化数据库

/opt/cm-5.13.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p123456 --scm-host localhost scm scm scm

      配置数据库连接。下载MySql-connectoer工具类，放到如下目录：

/opt/cm-5.13.1/share/cmf/lib

      分发 /etc/profile   /etc/hosts   /opt/cm-5.13.1  /opt/jdk1.7.0_80 到slave机器

      启动master的server

/opt/cm-5.10.0/etc/init.d/cloudera-scm-server start

     启动所有节点的agent

/opt/cm-5.13.1/etc/init.d/cloudera-scm-agent start

登陆master:7180继续在界面按提示安装

安装CDH前把CDH那三个文件拷贝入/opt/cloudera/parcel-repo目录中，并将CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel.sha1重命名为CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel.sha