Ubuntu CDH 5.14.0 分布式集群搭建

1   准备节点

Ø  Ubuntu 14.0.5 Desktop

Ø  JDK：1.8.0_161

Ø  cloudera-manager-trusty-cm5.14.0_amd64.tar

Ø  CDH-5.14.0-1.cdh5.14.0.p0.24-trusty.parcel

Ø  CDH-5.14.0-1.cdh5.14.0.p0.24-trusty.parcel.sha1

Ø  Manifest.json

Ø  MySQL:5.5.5（系统安装）

Ø  MySQLConnector

2   通用配置步骤

2.1 集群基础配置

2.1.1   网络配置

Ø修改本机hosts文件以及hostname文件

Hostname文件定义了本机的主机名称，hosts中定义了局域网内不同主机名称与IP的绑定关系

vim /etc/hostname 

#写入对应的节点名称 如主节点为master，子节点为cluster1

vim /etc/hosts

#写入 将 ubuntu 节点去掉 

192.168.145.129 master

192.168.145.130 cluster1

需要重启

2.1.2   SSH 服务环境配置

在各节点安装openssh-server，方便后续机器配置以及机器间文件和信息的传输。

apt-get install openssh-server

#修改各个节点的SSH配置文件

vim /etc/ssh/sshd_config

#修改 PermitRootLogin 节点值为yes

PermitRootLogin yes

#重启服务

/etc/init.d/ssh restart

#主节点配置无密码登陆

ssh-keygen -t rsa -P ‘’

cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys

#将id_rsa.pub文件发送到各个子节点

scp /root/.ssh/id_rsa.pub root@节点名称:/root/.ssh/

#将host文件发送到各个子节点

scp /etc/hosts root@节点名称:/etc

#各个子节点操作

cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys

#测试登陆

2.1.3   Java环境配置

 （JDK 安装包通过上述的ssh 进行传输到本机）

vim /etc/profile  

#输入内容

export JAVA_HOME=/opt/dev/jdk1.8.0_162

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

export PATH=${JAVA_HOME}/bin:$PATH

#通过ssh 将java包以及profile文件发送到各个节点

scp -r /opt/dev/jdk1.8.0_162 root@节点名称: /opt/dev

scp /etc/profile root@节点名称:/etc

#各个节点执行命令,测试

Source /etc/profile

Java -version

2.1.4   常见问题

2.1.4.1 unkown job:ssh

/etc/init.d/ssh start 

执行即可解决

2.2 MySQL 服务器

2.2.1   在线安装

apt-get install mysql-server

2.2.2   参数配置

2.2.2.1 识别主机的hostname

vim /etc/mysql/my.cnf

#修改内容 将bind-address 注释掉

2.2.3   CDH的前置操作

Ø  数据库

l  Web管理数据库 cmf

l  监控数据库      monitor

l  Hive数据库     hive

create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

create database cmf DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

create database monitor DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

create database rman DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

并使用如下命令对MySQL用户进行赋权。

GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'password' WITH GRANT OPTION;

FLUSH PRIVILEGES;

2.2.4   常见问题

2.2.4.1 unkown job:mysql

/etc/init.d/mysql start 

执行即可解决

2.2.4.2 登陆报错

错误描述如下：can'tconnect to local mysql server through socket '/var/run/mysqld/mysqld.sock'

解决方案：/var/run/mysqld缺少权限需要进行赋权。

chown  -R mysql:mysql /var/run/mysqld

/etc/init.d/mysql start 

3   Cloudera-manager 离线安装

3.1  基础的文件目录创建

cd  /opt

mkdir cloudera

mkdir cloudera-manager

cd cloudera

mkdir parcels

mkdir parcel-repo

目录创建完成后将文件分别转移或者解压到指定的文件目录中

Øcloudera/parcel-repo

将下载的.parcel\.parcel.sha1\manifest.json文件存储在该目录下，并将.parcel.sha1文件重名为.parcel.sha

Øcloudera-manager

将cloudera-manager的tar文件解压缩到该目录下

3.2  代理配置

3.2.1   主服务器配置

cd /opt/cloudera-manage/cm-5.14.0

vim /etc/cloudera-scm-agent/config.ini

#将server_host 修改为你定义的主机名 如master

3.2.2   将opt下的文件发送到其他子节点

  scp -r /opt  root@节点名称:/

3.2.3   在所有节点下创建用户 cloudera-scm并赋权

  useradd --system --home=/opt/cloudera-manager/cm-5.14.0/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

chown -R cloudera-scm:cloudera-scm /opt

3.3 配置cloudera-manager的数据库

执行命令前需要将MySQL的驱动复制到/opt/cloudera-manager/cm-5.14.0/share/cmf/lib下

/opt/cloudera-manager/cm-5.14.0/share/cmf/schema/scm_prepare_database.sh mysql -hmaster  --scm-host master  cmf usrname password

命令说明：/opt/cm-5.13.1/share/cmf/schema/scm_prepare_database.sh 数据库类型 -h数据库主机 --scm-host cm主机  数据库名称  用户名  密码

3.4  服务启动

3.4.1   所有节点的代理服务启动

cd /opt/cloudera-manage/cm-5.14.0  

/etc/init.d/cloudera-scm-agent start #status 查看状态

3.4.2   主服务启动

cd /opt/cloudera-manage/cm-5.14.0  

/etc/init.d/cloudera-scm-server start #status 查看状态

如有发现错误，检查/opt/cloudera-manage/cm-5.14.0/log下的日志。登陆cloudera-manager管理界面完成后续配置。http://主机名称:7180, 账户名称和密码默认均为admin

3.5 后续配置

4   常见问题

4.1  中文乱码问题

apt-get install language-pack-zh-hans

vim /etc/enrivonment

#添加或者修改如下内容

LANG="zh_CN.UTF-8"

LANGUAGE="zh_CN:zh:en_US:en"

vim /var/lib/locales/supported.d/local

#添加或修改以下内容

en_US.UTF-8 UTF-8

zh_CN.UTF-8 UTF-8

zh_CN.GBK GBK

zh_CN GB2312

locale-gen

4.2 CDH配置失败需要重新配置（Web无法处置）

cd /opt/cloudera-manager/cm-5.14.0

#删除Agent节点的UUID相关文件

rm -rf lib/cloudera-scm-agent/*

#删除cloudera-manager数据库并重建

drop database cmf;

create database cmf DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

#重新配置数据库

/opt/cloudera-manager/cm-5.14.0/share/cmf/schema/scm_prepare_database.sh mysql -hmaster  --scm-host master  cmf usrname password

#启动服务以及代理

4.3  CDH部署过程中问题

4.3.1   主机运行情况不良

#定位问题主机节点执行如下操作

cd /opt/cloudera-manager/cm-5.14.0

#删除Agent节点的UUID相关文件

rm -rf lib/cloudera-scm-agent/cm_guid

#重启服务 不必刷新界面

/etc/init.d/cloudera-scm-agent restart

4.3.2   Hive 初始启动失败

问题原因：缺少MySQL驱动

解决方案：将MySQL的驱动复制到/opt/cloudera/CDH-5.14.0-1.cdh5.14.0.p0.24/parcels/lib/hive/lib下，再次运行即可。

4.3.3   节点时钟不能同步

问题原因：代理启动时间差别太久

解决方案：问题节点的代理服务重新启动

4.3.4   Web网页的检查配置项问题

解决方案 web页已经给出