CDH安装教程

一、准备工作：

1、绑定IP 192.168.197.129 ，192.168.197.130 ，192.168.197.131
2、更改主机名 /etc/hosts
192.168.197.129 hd01
192.168.197.130 hd02
192.168.197.131 hd03

3、配置免密登录：
1、各台虚拟机执行：ssh-keygen -t rsa；
2、cd .ssh cat id_rsa.pub>>authorized_keys ；
3、scp authorized_keys root@hd01:~/.ssh/；
4、执行1~3到最后一台虚拟机 然后向前面每台虚拟机发送authorized_keys
4、安装jdk
5、同步脚本：
1）在/root目录下创建bin目录，并在bin目录下创建文件xsync，文件内容如下：
[root@hadoop102 ~]$ mkdir bin
[root@hadoop102 ~]$ cd bin/
[root@hadoop102 bin]$ vi xsync
在该文件中编写如下代码
#!/bin/bash
#1 获取输入参数个数，如果没有参数，直接退出
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi

#2 获取文件名称
p1=$1
fname=basename $p1
echo fname=$fname

#3 获取上级目录到绝对路径
pdir=cd -P $(dirname $p1); pwd
echo pdir=$pdir

#4 获取当前用户名称
user=whoami

#5 循环
for((host=1; host<3; host++)); do
echo ------------------- hadoop$host --------------
rsync -av $pdir/$fname $user@hd0$host:$pdirdone2）修改脚本xsync具有执行权限[root@hadoop102bin]$ chmod 777 xsync

6、同步操作：
1）在/root/bin目录下创建脚本xcall.sh
[root@hadoop102 bin]$ vim xcall.sh
2）在脚本中编写如下内容
#! /bin/bash

for i in hd01 hd02 hd03
do
echo --------- $i ----------
ssh $i"$*"
done
3）修改脚本执行权限
[root@hadoop102 bin]$ chmod 777 xcall.sh
4）将/etc/profile文件追加到~/.bashrc后面
[root@hadoop102 software]# cat /etc/profile >> ~/.bashrc
[root@hadoop103 software]# cat /etc/profile >> ~/.bashrc
[root@hadoop104 software]# cat /etc/profile >> ~/.bashrc
5）测试
[root@hadoop102 bin]# xcall.sh jps

7、安装mysql: https://blog.csdn.net/hitits/article/details/107115240
8、创建CM用的数据库
在MySQL中依次创建监控数据库、Hive数据库、Oozie数据库、Hue数据库
1）启动数据库
[root@hadoop102 ~]# mysql -uroot -p
2）集群监控数据库
mysql> create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
3）Hive数据库
mysql> create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
4）Oozie数据库
mysql> create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
5）Hue数据库
mysql> create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
6）关闭数据库
mysql> quit;
9、第三方依赖：
依次在三台节点（所有Agent的节点）上执行下载第三方依赖（注意：需要联网）
[root@hadoop102 ~]# yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb

[root@hadoop103 ~]# yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb

[root@hadoop104 ~]# yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb
10、关闭SELINUX
安全增强型Linux（Security-Enhanced Linux）简称SELinux，它是一个 Linux 内核模块，也是Linux的一个安全子系统。为了避免安装过程出现各种错误，建议关闭，有如下两种关闭方法：
1）临时关闭（不建议使用）
[root@hadoop102 ~]# setenforce 0
但是这种方式只对当次启动有效，重启机器后会失效。
2）永久关闭（建议使用）
修改配置文件/etc/selinux/config
[root@hadoop102 ~]# vim /etc/selinux/config
将SELINUX=enforcing 改为SELINUX=disabled
SELINUX=disabled
3）同步/etc/selinux/config配置文件
[root@hadoop102 ~]# xsync /etc/selinux/config
4）重启hadoop102、hadoop103、hadoop104主机
[root@hadoop102 ~]# reboot
[root@hadoop103 ~]# reboot
[root@hadoop104 ~]# reboot
11、时间同步（略）：
12、安装CDH
1)下载CDH
CM下载地址：http://archive.cloudera.com/cm5/cm/5/
离线库下载地址：http://archive.cloudera.com/cdh5/parcels
2)安装CDH
注：以下所有操作均使用root用户
a）创建/software/cm目录
[root@hadoop102 software]# mkdir –p /software/cm
b）上传cloudera-manager-centos7-cm5.7.0_x86_64.tar.gz到hadoop102的/opt/software目录，并解压到/software/cm目录
[root@hadoop102 software]# tar -zxvf cloudera-manager-centos7-cm5.7.0_x86_64.tar.gz -C /software/cm
c）分别在hadoop102、hadoop103、hadoop104创建用户cloudera-scm
[root@hadoop102 software]#
useradd --system --home-dir=/software/cm/cm-5.14.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment “Cloudera SCM User” cloudera-scm

useradd
–system
–home=/software/cm/cm-5.7.0/run/cloudera-scm-server
–no-create-home
–shell=/bin/false
–comment “Cloudera SCM User” cloudera-scm

[root@hadoop103 software]#
useradd
–system
–home=/software/cm/cm-5.7.0/run/cloudera-scm-server
–no-create-home
–shell=/bin/false
–comment “Cloudera SCM User” cloudera-scm

[root@hadoop104 software]#
useradd
–system
–home=/software/cm/cm-5.7.0/run/cloudera-scm-server
–no-create-home
–shell=/bin/false
–comment “Cloudera SCM User” cloudera-scm
参数说明：
–system 创建一个系统账户
–home 指定用户登入时的主目录，替换系统默认值/home/<用户名>
–no-create-home 不要创建用户的主目录
–shell 用户的登录 shell 名
–comment 用户的描述信息
注意：Cloudera Manager默认去找用户cloudera-scm，创建完该用户后，将自动使用此用户。
c）修改CM Agent配置
修改文件/software/cm/cm-5.7.0/etc/cloudera-scm-agent/ config.ini的主机名称
[root@hadoop102 cloudera-scm-agent]# vim /software/cm/cm-5.7.0/etc/cloudera-scm-agent/config.ini
修改主机名称
server_host=hadoop102
e）配置CM的数据库
拷贝mysql-connector-java-5.1.27-bin.jar文件到目录 /usr/share/java/
[root@hadoop102 cm]# mkdir –p /usr/share/java/
[root@hadoop102 mysql-libs]# tar -zxvf mysql-connector-java-5.1.27.tar.gz

[root@hadoop102 mysql-libs]# cp /opt/software/mysql-libs/mysql-connector-java-5.1.27/mysql-connector-java-5.1.27-bin.jar /usr/share/java/

[root@hadoop102 mysql-libs]# mv /usr/share/java/mysql-connector-java-5.1.27-bin.jar /usr/share/java/mysql-connector-java.jar
注意：jar包名称要修改为mysql-connector-java.jar
f）使用CM自带的脚本，在MySQL中创建CM库
[root@hadoop102 cm-5.7.0]#
/software/cm/cm-5.7.0/share/cmf/schema/scm_prepare_database.sh mysql cm -hhd01 -uroot -plin@12345 --scm-host hd01 scm scm scm
参数说明
-h：Database host
-u：Database username
-p：Database Password
–scm-host：SCM server’s hostname
参数太多可能会报错：
Your password does not satisfy the current policy requirements
/software/cm/cm-5.7.0/share/cmf/schema/scm_prepare_database.sh mysql cm -uroot -plin123 scm scm scm
g）分发cm
[root@hadoop102 software]# xsync /software/cm
h）创建Parcel-repo
[root@hadoop102 software]# mkdir -p /software/cloudera/parcel-repo
[root@hadoop102 software]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
i）拷贝下载文件manifest.json 、CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha1 、CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel到hadoop102的/opt/cloudera/parcel-repo/目录下
[root@hadoop102 parcel-repo]# ls
CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha1
manifest.json
j）将CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha1：需改名为
CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha
[root@hadoop102 parcel-repo]# mv CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha1 CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha
k）在hadoop102上创建目录/opt/cloudera/parcels，并修改该目录的所属用户及用户组为cloudera-scm
[root@hadoop102 opt]# mkdir -p /opt/cloudera/parcels
[root@hadoop102 opt]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

3)启动CM
a）启动服务节点：hadoop102
[root@hadoop102 cm]# /software/cm/cm-5.7.0/etc/init.d/cloudera-scm-server start
Starting cloudera-scm-server: [确定]

b）启动工作节点：hadoop102、hadoop103、hadoop104
需要先在各个节点创建文件夹否则会报错：
Starting cloudera-scm-agent: [FAILED]：
mkdir -p /software/cm/cm-5.7.0/run/cloudera-scm-agent
chown cloudera-scm:cloudera-scm /software/cm/cm-5.7.0/run/cloudera-scm-agent

[root@hadoop102 cm]# /software/cm/cm-5.7.0/etc/init.d/cloudera-scm-agent start

[root@hadoop103 cm]# /software/cm/cm-5.7.0/etc/init.d/cloudera-scm-agent start

[root@hadoop104 cm]# /software/cm/cm-5.7.0/etc/init.d/cloudera-scm-agent start
注意：启动过程非常慢，Manager启动成功需要等待5分钟左右，过程中会在数据库中创建对应的表需要耗费一些时间。
c）查看被占用则表示安装成功了！！！
[root@hadoop102 cm]# netstat -anp | grep 7180
tcp 0 0 0.0.0.0:7180 0.0.0.0:* LISTEN 5498/java
d）访问http://hadoop102:7180，（用户名、密码：admin）
遇到问题：windows浏览器打不开，linux可以打开，后面打开了hadoop102的防火墙再关闭就可以了。

二、部署CDH集群
1、接受条款

2、 选择免费

3、 指定主机

4、 选择CDH的版本5.12.1

注意：如果这里没有出现对应的版本，那么重启server和agent服务即可。
5、 等待下载安装

注意：如果这里出现问题，如网络中断，死机等，再次进入页面可能出现查询不到机器的情况，这时我们可以：
1）停止所有服务
[root@hadoop102 parcel-repo]#
/opt/module/cm/cm-5.12.1/etc/init.d/cloudera-scm-agent stop
Stopping cloudera-scm-agent: [确定]

[root@hadoop103 parcel-repo]#
/opt/module/cm/cm-5.12.1/etc/init.d/cloudera-scm-agent stop
Stopping cloudera-scm-agent: [确定]

[root@hadoop104 parcel-repo]#
/opt/module/cm/cm-5.12.1/etc/init.d/cloudera-scm-agent stop
Stopping cloudera-scm-agent: [确定]

[root@hadoop102 parcel-repo]#
/opt/module/cm/cm-5.12.1/etc/init.d/cloudera-scm-server stop
停止 cloudera-scm-server： [确定]
2）删除三台机器的UUID
rm -rf /opt/module/cm/cm-5.12.1/lib/cloudera-scm-agent/*
3）删除数据库
mysql>drop database cm;
4）重新运行创建数据库的脚本
[root@hadoop102 cm-5.12.1]#
/opt/module/cm/cm-5.12.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hhadoop102 -uroot -p000000 --scm-host hadoop102 scm scm scm
5）重新启动服务进行安装

警告1：Cloudera 建议将 /proc/sys/vm/swappiness 设置为 10。当前设置为 60。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf 以在重启后保存该设置。您可以继续进行安装，但可能会遇到问题，Cloudera Manager 报告您的主机由于交换运行状况不佳。以下主机受到影响：
通过echo 10 > /proc/sys/vm/swappiness即可解决。
警告2：已启用透明大页面压缩，可能会导致重大性能问题。请运行
echo never > /sys/kernel/mm/transparent_hugepage/defrag和
echo never > /sys/kernel/mm/transparent_hugepage/enabled以禁用此设置，然后将同一命令添加到 /etc/rc.local 等初始脚本中，以便在系统重启时予以设置。
警告3：检查器在以下主机上的结果失败…
在警告的主机上执行下面三条指令：
setenforce 0
systemctl stop firewalld.service
systemctl disable firewalld.service
三、搭建集群框架