完整CDH搭建，适用于Docker下安装CDH

1.1 环境说明

• CentOS 6.9
• JDK 1.8
• CDH 5.14.0
• Cloudera Manager 5.14.0
• MySql 5.1.73
• JDBC mysql-connector-java-5.1.32-bin.jar

1.2 CDH相关下载

cloudera 官网地址

cloudera manager 离线安装的tar包下载地址

cloudera-manager-installer.bin下载地址

CDH下载地址

1.3 虚拟机节点

CDH Server ：cdh-server

CDH agent ：cdh-agnet01

CDH agent ：cdh-agnet02

CDH agent ：cdh-agnet03

CDH agent ：cdh-agnet04

2.1 安装依赖包

使用rpm -qa|grep 包名 检查是否安装

使用 yum install -y 包名 安装

• chkconfig
• python(2.6 required for CDH5)
• bind-utils
• psmisc
• libxslt
• zlib
• sqlite
• cyrus-sasl-plain
• cyrus-sasl-gssapi
• fuse
• portmap(rpcbind)
• fuse-libs
• readhat-lsb

2.2 卸载open jdk

检查 rpm -qa |grep java

查看信息 rpm -e --nodeps 包名

卸载命令

for old in `rpm -qa|grep java`;do rpm -e --nodeps $old;done

2.3 关闭防火强和安装防护

关闭防火墙

service iptables stop
chkconfig iptables off
chkconfig iptables --list

关闭selinux

setenforce 0
vi /etc/selinux/config 
SELINUX=disabled

2.4 安装lrzsz【可选，用于文件上传和下载】

yum install -y lrzsz 

• rz ：received 接收
• sz ：send 发送

2.5 安装JDK1.8

-- 创建目录并安装
mkdir /usr/java
rpm -ivh /usr/java/jdk
-- 配置环境变量
vim /etc/profile.d/java.sh
export JAVA_HOME=/usr/java/jdk1.8.0_121
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/jre/lib/*:$JAVA_HOME/lib/*
-- 加载环境变量
source /etc/profile.d/java.sh
-- 查看java版本（验证）
java -version

2.6 安装NTP时间同步服务

-- 安装
yum -y install ntp
-- 设置开机启动
chkconfig ntpd on
-- 同步时间
ntpdate -u 202.112.92.82
-- 编辑ntp配置信息
vi /etc/ntp.conf
server 202.112.29.82
-- 启动NTP服务
service ntpd start

2.8 修改hsots文件

vi /etc/hosts
192.168.9.101 cdh-agnet01
192.168.9.102 cdh-agnet02
192.168.9.103 cdh-agnet03
... ...

3.1 克隆后操作

-- 克隆后进行以下操作
-- 修改hostname
vi /etc/sysconfig/network
-- 修改ip地址并删除HWARDDR 
vi /etc/sysyconfig/network-script/ifcfg-eth0
-- 删除
rm -rf /etc/udev/rules.d/70-persistent-net.rules

3.2 免密钥设置

设置 CDH所有节点相互免密要

-- 安装OpenSSH
yum install -y openssh*
-- 注册openssh服务并启动
chkconfig sshd on
service sshd start
-- 生成公钥和密钥文件
ssh-keygen -t rsa
-- 复制公钥到其他节点
ssh-copy-id cdh-agent01
... ...

4.1 安装mysql

-- 安装mysql
yum -y install mysql mysql-server mysql-devel
-- 启动和开机启动
/etc/init.d/mysqld start
chkconfig mysqld on

4.2 设置mysql远程访问

-- 登录mysql
mysql
-- 使用mysql诗剧苦
use mysql;
-- 重置密码
UPDATE user SET Password=PASSWORD('root') WHERE user='root';
-- 重新加载权限表
FlUSH PRIVILEGES;
-- 更改用户对应某些库的远程权限
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION;

4.3 创建数据库

-- 创建hive数据库
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
-- 创建activity monitor数据库
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

5.1 上传CDH相关文件

• manifest.json
• CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel
• CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel.sha1
• mysql-connector-java-5.1.32-bin.jar
• cloudera-manager-el6-cm5.14.0_x86_64.tar.gz

5.2 安装CDH并初始化CDH Server

-- 解压
tar zxvf cloudera-manager-el6-cm5.14.0_x86_64.tar.gz -C /opt
-- 拷入mysql驱动包
mv mysql-connector-java-5.1.32-bin.jar /opt/cm-5.14.0/share/cmf/lib/
-- 初始化CDH
/opt/cm-5.14.0/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -proot --scm-host localhost scm scm scm

5.3 修改Agnet配置文件

此处为CDH Server 中修改

修改config.ini 中server-host为 CDH Server 地址

vi /opt/cm-5.14.0/etc/cloudera-scm-agent/config.ini
server_host=cdh-server

5.4 离线安装包操作

-- 拷贝离线包到指定名录
cp CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel /opt/cloudera/parcel-repo/
[root@cdh-server CDH]# cp CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel.sha1 /opt/cloudera/parcel-repo/
[root@cdh-server CDH]# cp manifest.json /opt/cloudera/parcel-repo/
-- 重命名 .sha1 为.sha
mv CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel.sha1 CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel.sha

5.5 分发CDH到cdh-agnet

scp -r -p /opt/cm-5.14.0/ cdh-agent01:/opt
scp -r -p /opt/cm-5.14.0/ cdh-agent02:/opt
... ...

5.6 所有节点中创建cloudera-scm用户

useradd --system --home=/opt/cm-5.14.0/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
usermod -g root cloudera-scm

6.1 启动server节点

/opt/cm-5.14.0/etc/init.d/cloudera-scm-server start
tail -f /opt/cm-5.14.0/log/cloudera-scm-server/cloudera-scm-server.log

6.2 启动所有agent节点

/opt/cm-5.14.0/etc/init.d/cloudera-scm-agent start

7.1 登录cloudera MANAGER

使用浏览器访问 cdh-server:7180

用户名/密码：admin/admin

8.1 集群后续操作

1. 复制mysql驱动包到hive/lib中

   cp /root/software/install/mysql-connector-java-5.1.26-bin.jar /opt/cloudera/parcels/CDH-5.14.0-1.cdh5.14.0.p0.24/lib/hive/lib/
   

2. 选择自定义服务

9.1 报错处理

安装的过程中出现错误：
/opt/cm-5.11.0/lib64/cmf/service/client/deploy-cc.sh: line 115: perl: command not found

yum install -y gcc
wget http://www.cpan.org/src/5.0/perl-5.16.1.tar.gz
tar -xzf  perl-5.16.1.tar.gz
cd perl-5.16.1
./Configure -des -Dprefix=/usr/local/perl
make && make test && make install
perl -v  

部署hadoop遇到错误：

Cannot create directory /etc/hostname/dfs/nn/curren

解决方法：简单粗暴更改了cdh设置选项中 hadoop安装路径