Cloudera manger5.14.2安装配置指南（截图版）

官方共给出了3中安装方式。第一种方法必须要求所有机器都能连网，由于各种网络超时错误，基本没法用。第二种方法使用CM的在线yum源，在线下载很多包，同样是超时严重。第三种方法是全离线方式，实际情况是也只能用这个。

CDH 5.14.x中的新功能

Apache Impala

Apache Kudu

Cloudera搜索

部署条件

6台服务器配置2个namenode和4个DataNode，系统采用最新版centos7.5最小化安装

基础服务准备

1. 主机名统一配置

更改hosts文件

vim /etc/hosts

192.168.82.19 node1

192.168.82.20 node2

192.168.82.21 node3

192.168.82.22 node4

192.168.82.23 node5

192.168.82.24 node6

1. 配置免秘钥登录

ssh-keygen -t rsa #一路回车到完成

将秘钥分发至其他各节点，以实现免秘钥登录：如

ssh-copy-id node2

1. 关闭selinux和firewalld

所有节点配置为关闭selinux。

所有节点的firewalld设置为对同网段地址放开全部端口的访问权限，因内网测试机直接关闭。

1. 系统性能参数调整

cat << EOF >> /etc/sysctl.conf

vm.swappiness = 0

net.ipv6.conf.all.disable_ipv6 = 1

net.ipv6.conf.default.disable_ipv6 = 1

net.ipv4.ip_local_port_range = 1024 65000

EOF

 

sysctl -p

echo never > /sys/kernel/mm/transparent_hugepage/defrag

echo never > /sys/kernel/mm/transparent_hugepage/enabled

cat << EOF >> /etc/rc.local

echo never > /sys/kernel/mm/transparent_hugepage/defrag

echo never > /sys/kernel/mm/transparent_hugepage/enabled

EOF

 

1. 安装JDK

下载并分发Oracle JDK安装包至所有节点，执行安装和配置命令。

rpm -ivh jdk-7u80-linux-x64.rpm

直接刷下面脚本完成配置：

cat << EOF >> /etc/profile

JAVA_HOME=/usr/java/jdk1.7.0_80

PATH=\$JAVA_HOME/bin:\$PATH:.

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export JAVA_HOME

export PATH

export CLASSPATH

EOF

source /etc/profile

以上JDK配置，需要在每个节点上都处理。

1. 安装和配置数据库

Centos7不能直接用yum安装数据库，可用脚本源码安装MySQL，因数据库和namenode比较耗费资源，因此尽量把namanode的主节点和数据库节点分开，数据库安装在node2节点

1）创建各服务所用数据库

create database reports DEFAULT CHARACTER SET utf8;

create database oozie DEFAULT CHARACTER SET utf8;

create database hive DEFAULT CHARACTER SET utf8;

create database hue DEFAULT CHARACTER SET utf8;

 

         2）相应数据库授权

grant all on *.* to 'root'@'localhost' identified by 'TxxTaaS6699we';

grant all on *.* to 'scm'@'node1' identified by 'scm';

grant all on reports.* to 'reports'@'node1' identified by 'reports';

grant all on oozie.* to 'oozie'@'node1' identified by 'oozie';

grant all on hue.* to 'hue'@'node1' identified by 'hue';

grant all on hive.* to 'hive'@'node1' identified by 'hive';

 

1. 安装程序驱动包mysql jdbc driver

总计有以下角色所在的主机需要安装这个驱动包。如果你把以下角色都部署在一个主机节点上，那就只需要安装一个节点的驱动，否则就需要各节点都部署一下。

从以下网址下载需要使用的驱动包：

http://www.mysql.com/downloads/connector/j/5.1.html

tar -zxvf mysql-connector-java-5.1.43.tar.gz

mkdir -p /usr/share/java/

cp mysql-connector-java-5.1.43/mysql-connector-java-5.1.43-bin.jar /usr/share/java/mysql-connector-java.jar

1. 配置ntp时间同步

yum -y install ntp

systemctl start ntpd

systemctl enable ntpd

 

选择一个节点做为ntp server直接和外部时间服务器同步，其它所有节点均配置/etc/ntp.conf，将同步的server信息指向前面这个节点即可

vim /etc/ntp.conf

server s1a.time.edu.cn prefer

首次同步时间

systemctl restart ntpd

ntpdate s1a.time.edu.cn

Cloudera manager安装

1. 所有节点下载安装cloudera manager

Cloudera manager5.14.2版本已经放到运维公共盘当中：\\192.168.6.200\yunwei\工具\cloudera-manager\5_14_2，直接拷贝即可或在官网https://archive.cloudera.com/cm5/cm下载相应版本。解压安装

tar -zxvf cloudera-manager-centos7-cm5.14.2_x86_64.tar.gz -C /opt/

mkdir /opt/cloudera-manager

mv cm-5.14.2 cloudera-manager/

因系统是最小化安装需要安装pstree，否则启动时候回提示未发现pstree

yum -y install psmisc

1. 创建cm server系统用户及存储目录

useradd --system --home=/opt/cloudera-manager/cm-5.14.2/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

mkdir -p /var/lib/cloudera-scm-server

chown cloudera-scm:cloudera-scm /var/lib/cloudera-scm-server

1. 配置所有节点agent

sed -i 's/localhost/node1/' /opt/cloudera-manager/cm-5.14.2/etc/cloudera-scm-agent/config.ini

1. 初始化数据库

初始化数据库（在node2执行）

node2上将mysql jdbc driver拷贝至cloudera项目中

cp mysql-connector-java-5.1.46-bin.jar /opt/cloudera-manager/cm-5.14.2/share/cmf/lib/

/opt/cloudera-manager/cm-5.14.2/share/cmf/schema/scm_prepare_database.sh mysql -hlocalhost -uroot –p123456 scm scm scm

配置Node1的jdbc配置文件

vim /opt/cloudera-manager/cm-5.14.2/etc/cloudera-scm-server/db.properties

com.cloudera.cmf.db.host=node2

com.cloudera.cmf.db.name=scm

com.cloudera.cmf.db.user=scm

com.cloudera.cmf.db.password=scm

com.cloudera.cmf.db.setupType=EXTERNAL

 

1. 创建cdh parcel资源和更改归属

node1上创建cdh parcel资源目录和放入已下载资源

mkdir -p /opt/cloudera/parcel-repo

cp /usr/local/src/5_14_2/CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel* /opt/cloudera/parcel-repo/

mv CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel.sha1 CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel.sha

 

更改归属

chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

在其它所有节点上：

mkdir -p /opt/cloudera/parcels

chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

chown -R cloudera-scm:cloudera-scm /opt/cloudera-manager

 

1. 启动CDH服务

/opt/cloudera-manager/cm-5.14.2/etc/init.d/cloudera-scm-server start

/opt/cloudera-manager/cm-5.14.2/etc/init.d/cloudera-scm-agent start

CDH服务安装

1、开始安装服务

Server启动速度较慢，约1分钟后访问http://192.168.82.19:7180/登陆，账号密码 admin

2、配置主机资源

如果有报错，根据提示进行修改，如调优系统参数，时间差比较大等

3、配置各项服务

Zookeeper配置服务时候需要选择奇数个节点，否则配置服务后会有预警

Hue服务数据库连接是出现报错，因之前选择两个节点配置该服务，数据库调用出现问题。改成一个节点后数据库连接正常。

期间遇到hive服务启动异常，因hive server服务配置了node1和node2服务节点，在创建库表时候无法调用正确选择节点调用创建库表，把该角色只选择node2后服务启动正常。

4、配置Namenode 的HA

Node2执行

mkdir -p /dfs/nn

在所有节点上执行

mkdir -p /dfs/jn

chown hdfs.hadoop /dfs –R

之前已启用的namenode非空报错忽略即可

暂停namenode1测试namenode2主用

6、设置HDFS的DataNode存储目录

点击图中加号会自动增加DataNode存储目录，挂载新磁盘到DataNode目录如下：

1）格式化磁盘后挂载临时目录：mount /dev/sdb1 /mnt/ 

2）将挂载后的临时目录初始化数据清理，把将挂载目录信息移至到挂载的临时目录 mv /dfs/dn/* /mnt/

3）卸载临时目录：umount /mnt/

4）挂载需求目录：mount /dev/sdb1 /dfs/dn

5）更改目录归属：chown hdfs.hadoop /dfs/dn –R

按照此方式依次挂载其他目录和其他节点。