离线安装Cloudera Manager 5和CDH5 完全教程

1.关闭防火墙(所有节点)

systemctl stop firewalld.service   
systemctl disable firewalld.service 
systemctl status firewalld.service 

2.关闭Selinux(所有节点)

vim /etc/sysconfig/selinux
SELINUX=disabled
setenforce 0
getenforce

3.安装依赖包(所有节点)

[root@master ~]# yum install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs redhat-lsb –y

4.JDK的安装(所有节点)

(省略)

5.安装本地yum源

主要是将操作系统安装包（ISO）设置为YUM源，用来安装更多组件。在所有主机上执行(将Centos的ISO安装文件上传到/opt文件夹下)
1.挂载操作系统ISO文件到指定目录

[root@master ~]# mkdir /mnt/iso
[root@master ~]# mount -o loop /opt/CentOS-7-x86_64-DVD-1511.iso /mnt/iso

2. 设置yum源repo文件

[root@master ~]# cd etc/yum.repos.d

[base]
name=CentOS 7
baseurl=file:///mnt/iso
gpgcheck=0

3.刷新yum

[root@master ~]# yum clean all
[root@master ~]# yum makecache

6.安装httpd服务

1.安装httpd

[root@master ~]# yum install -y httpd

2.启动httpd服务

[root@master ~]# systemctl start httpd.service
[root@master ~]# systemctl enable httpd.service #设置为开机启动

3.在httpd服务的web目录中放入rpm库

[root@master ~]# mkdir /var/www/html/centos7
#创建一个软连接指向dvd3
[root@master ~]# ln -s /mnt/iso/ /var/www/html/centos7/
#注意这里/mnt/iso/ 与4.1挂载目录一致

4.用浏览器访问一下httpd服务
看是否能访问到/mnt/iso里面的东西

访问地址：http://master/centos7/

5.修改yum源

[base]
name=CentOS 7
#baseurl=file:///mnt/iso
baseurl=http://master/centos7/iso
gpgcheck=0

6.再次更新yum源

[root@master ~]# yum clean all
[root@master ~]# yum repolist

7.发送新的yum配置文件到其余节点
8.在其余节点更新yum源

7.设置时钟同步

详见 ：https://blog.csdn.net/tour9566/article/details/89042741

8.MySQL的安装

1.mysql安装
详见：https://blog.csdn.net/tour9566/article/details/89042705
2.创建数据库

amdb:cdh监控数据库

hivedb:hive元数据数据库

xxxdb:自己的数据库

ooziedb:oozie工作流数据库

huedb:hue工作数据库

mysql> create database amdb DEFAULT CHARACTER SET utf8;
Query OK, 1 row affected (0.01 sec)

mysql> create database hivedb DEFAULT CHARACTER SET utf8;
Query OK, 1 row affected (0.00 sec)

mysql> create database xxxdb DEFAULT CHARACTER SET utf8;
Query OK, 1 row affected (0.01 sec)

mysql> create database ooziedb DEFAULT CHARACTER SET utf8;
Query OK, 1 row affected (0.00 sec)

mysql> create database huedb DEFAULT CHARACTER SET utf8;
Query OK, 1 row affected (0.00 sec)

mysql> grant all on amdb.* TO 'am'@'%' IDENTIFIED BY 'am';
Query OK, 0 rows affected (0.02 sec)

mysql> grant all on hivedb.* TO 'hive'@'%' IDENTIFIED BY 'hive';
Query OK, 0 rows affected (0.00 sec)

mysql> grant all on xxxdb.* TO 'fpfx'@'%' IDENTIFIED BY 'qwer1234';
Query OK, 0 rows affected (0.00 sec)

mysql> grant all on ooziedb.* TO 'oozie'@'%' IDENTIFIED BY 'oozie';
Query OK, 0 rows affected (0.00 sec)

mysql> grant all on huedb.* TO 'hue'@'%' IDENTIFIED BY 'hue';
Query OK, 0 rows affected (0.00 sec)

9.安装 Cloudera Manager Server&Agent

1准备包

CDH-5.9.3-1.cdh5.9.3.p0.4-el6.parcel
CDH-5.9.3-1.cdh5.9.3.p0.4-el6.parcel.sha
cloudera-manager-el6-cm5.9.3_x86_64.tar.gz
manifest.json
mysql-connector-java-5.1.44-bin.jar

CDH软件包官方最新稳定版下载地址：http://archive.cloudera.com/cdh5/parcels/latest/ Cloudera Manager 官方下载地址：http://archive.cloudera.com/cm5/cm/5/
（注意CDH和Cloudera Manager下载版本要一致）

2 安装 Cloudera Manager Server&Agent(所有节点)

拷贝 cloudera-manager-el6-cm5.9.3_x86_64.tar.gz和 mysql-connector-java-5.1.44-bin.jar到所有 Server、Agent 节点

3创建CM目录（所有节点）

[root@master ~]# mkdir /opt/cloudera-manager

4 解压CM安装包（所有节点）

[root@master ~]# tar -zxvf cloudera-manager-el6-cm5.9.3_x86_64.tar.gz -C /opt/cloudera-manager/

5 创建用户 cloudera-scm （所有节点）

[root@master ~]# useradd --system --home=/opt/cloudera-manager/cm-5.9.3/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment “Cloudera SCM User” cloudera-scm

6 配置 CM Agent（所有节点）

修改文件/opt/cloudera-manager/cm-5.9.3/etc/cloudera-scm-agent/config.ini 中的server_host。（server_port使用默认的7182即可，不要改为7180，否则会导致在管理界面无法看到相应的主机。）

[root@master ~]# vim /opt/cloudera-manager/cm-5.9.3/etc/cloudera-scm-agent/config.ini

server_host=master

7 在master节点执行

1.Manager 节点（master）创建目录/opt/cloudera/parcel-repo

[root@master ~]# mkdir -p /opt/cloudera/parcel-repo
[root@master ~]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

2.将 下 载 好 的 文 件 (
CDH-5.9.3-1.cdh5.9.3.p0.4-el6.parcel、
CDH-5.9.3-1.cdh5.9.3.p0.4-el6.parcel.sha、
manifest.json
)拷贝到master的/opt/cloudera/parcel-repo

8 在Agent节点执行
Agent 节点（所有节点）创建目录/opt/cloudera/parcels

[root@master ~]# mkdir -p /opt/cloudera/parcels
[root@master ~]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

9 拷贝mysql连接驱动包（所有节点）

[root@master ~]# mkdir -p /usr/share/java
[root@master ~]# mv mysql-connector-java-5.1.45-bin.jar /usr/share/java/
[root@master ~]# ln -s /usr/share/java/mysql-connector-java-5.1.45-bin.jar /usr/share/java/mysql-connector-java.jar

10 创建CM server数据库（master 节点）

[root@master java]# cd /opt/cloudera-manager/cm-5.9.3/share/cmf/schema/
[root@master schema]# ./scm_prepare_database.sh mysql -uroot -pPASSWORD scm scm scm
#或者远程数据库
[root@master schema]# ./scm_prepare_database.sh mysql -h master -uroot -pPASSWORD --scm-host master scm scm scm

（注意：使用以下命令准备Cloudera Manager数据库，其中PASSWORD为MySQL的root账号的密码，3个scm依次是创建的Cloudera Manager数据库名称、用户、密码）

11.启动 CM Manager&Agent 服务
1.启动manager（在master上执行以下启动命令）

#启动
[root@master ~]# /opt/cloudera-manager/cm-5.9.3/etc/init.d/cloudera-scm-server start
#查看状态
[root@master ~]# /opt/cloudera-manager/cm-5.9.3/etc/init.d/cloudera-scm-server status
#停止
[root@master ~]# /opt/cloudera-manager/cm-5.9.3/etc/init.d/cloudera-scm-server stop
#重启
[root@master ~]# /opt/cloudera-manager/cm-5.9.3/etc/init.d/cloudera-scm-server restart

2.启动Agent(在所有服务器上执行以下启动命令)

#启动
[root@master ~]# /opt/cloudera-manager/cm-5.9.3/etc/init.d/cloudera-scm-agent start
#查看状态
[root@master ~]# /opt/cloudera-manager/cm-5.9.3/etc/init.d/cloudera-scm-agent status
#停止
[root@master ~]# /opt/cloudera-manager/cm-5.9.3/etc/init.d/cloudera-scm-agent stop
#重启
[root@master ~]# /opt/cloudera-manager/cm-5.9.3/etc/init.d/cloudera-scm-agent restart

12.访问界面
访问:http://IP（master）:7180，若可以访问(用户名、密码:admin)，则安装成功。

13.Activity Monitor配置数据库

数据库：amdb 用户名 密码

问题：

1.离线安装cloudera 启动agent报错

错误描述：

[03/Apr/2015 00:50:43 +0000] 8369 MainThread agent        ERROR    Failed to connect to previous supervisor.

这时候就要确认一下：hostname 和ip是否对应 （/etc/sysconfig/network 和 /etc/hosts 仔细核对）

(hostname 临时修改方法: hostname master)

如果对的话，还存在问题，那么尝试用这种方法（杀掉进程）：

kill -9 $(pgrep -f supervisord)

然后重启agent即可。