Centos7.3安装CDH6.0.1

CDH6.0以上版本安装都适用，已经成功搭建CDH6.0.1和6.2企业级平台。

版本

类型	版本	下载
Linux	Centos7.3
CDH	CDH6.0.1	CM官方下载   CDH官方下载
JDK	jdk-8u211	网盘下载
数据库	MySQL5.7.27	官方下载
JDBC	mysql-connector-java-5.1.47	Maven下载

                                  部分软件网盘

                                  官方安装文档

服务器信息

IP	Hostname	CPU	内存	硬盘
192.168.100.45	cdh-master	32	64G	16T
192.168.100.46	cdh-slave01	32	64G	16T
192.168.100.47	cdh-slave02	32	64G	16T

 

前置环境配置：

Centos7.3安装CDH6.0.1之基础环境配置

 

CDH6.0.1默认组件版本

 

1. 安装Cloudera Manager

yum在线安装速度太慢，不推荐,当然也可以采用本地yum源的方式安装快点。

这里直接采用离线rpm。

1. 下载rpm文件

cloudera-manager-server-6.0.1-610811.el7.x86_64.rpm
cloudera-manager-agent-6.0.1-610811.el7.x86_64.rpm
cloudera-manager-daemons-6.0.1-610811.el7.x86_64.rpm

三个都上传都到cdh-master 

从节点cdh-slave01、cdh-slave02上传daemons和agent

2. 安装

cdh-master：（按顺序全部安装）

rpm -ivh cloudera-manager-daemons-6.0.1-610811.el7.x86_64.rpm
rpm -ivh cloudera-manager-server-6.0.1-610811.el7.x86_64.rpm
rpm -ivh cloudera-manager-agent-6.0.1-610811.el7.x86_64.rpm

cdh-slaves:（只安装daemons 和agent）

rpm -ivh cloudera-manager-daemons-6.0.1-610811.el7.x86_64.rpm
rpm -ivh cloudera-manager-agent-6.0.1-610811.el7.x86_64.rpm

CM安装出现问题，参照：Centos7.3安装CDH6.0.1之CM安装问题

3. 修改服务器地址（所有节点）

vim /etc/cloudera-scm-agent/config.ini

server_host=cdh-master
server_port=7182

4. 启动agent（所有节点）

sudo systemctl start cloudera-scm-agent

sudo systemctl status cloudera-scm-agent

tail -F /var/log/cloudera-scm-agent/cloudera-scm-agent.log

5. 设置CM数据库

sudo /opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm

6. 启动

sudo systemctl start cloudera-scm-server

可以查看启动情况：
tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

sudo systemctl status cloudera-scm-server

显示以下信息说明启动完成：

INFO WebServerImpl:com.cloudera.server.cmf.WebServerImpl: Started Jetty server. 

 

查看agent日志
tail -f /var/log/cloudera-scm-agent/cloudera-scm-agent.log

7. 登录WEB

web：http://192.168.100.41:7180

账号密码：admin

显示如下界面，CM安装完成。

 

2.安装CDH

1. 关闭服务

systemctl stop cloudera-scm-server
systemctl stop cloudera-scm-agent

2.下载

CDH-6.0.1-1.cdh6.0.1.p0.590678-el7.parcel
CDH-6.0.1-1.cdh6.0.1.p0.590678-el7.parcel.sha256
manifest.json

3. 上传

上传到 /opt/cloudera/parcel-repo/，没有则手动创建，修改.sha256文件后缀为.sha，在manifest.json中查看el7的序列输入到.sha文件中。CDH6以上的.sha1直接修改为.sha即可。

echo "2e650f1f1ea020a3efc98a231b85c2df1a50b030" > CDH-6.0.1-1.cdh6.0.1.p0.590678-el7.parcel.sha

4. 修改用户和组

chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/*

5. 安装

启动服务，登录CM，http://192.168.100.45:7180，进入初始化界面。

systemctl start cloudera-scm-agent
systemctl start cloudera-scm-server

 

Psycopg2版本太低问题：至少2.5.4以上。

安装依赖
yum install postgresql-devel postgresql-libs python-devel gcc

下载psycopg2,几百K,可以直接下载
wget http://initd.org/psycopg/tarballs/PSYCOPG-2-7/psycopg2-2.7.7.tar.gz

解压
tar -zxvf psycopg2-2.7.7.tar.gz -C /opt/apps/
cd /opt/apps/psycopg2-2.7.7

安装
python setup.py build
python setup.py install

更新配置以后的界面。

 

 

内存被调拨过度问题

Memory Overcommit Validation Threshold

主机 cdh-slave02 上的内存被调拨过度。总内存分配额是 57.5 GiB 个字节，但是 RAM 只有 62.8 GiB 个字节（其中的 12.6 GiB 个字节是保留给系统使用的）。如需获得分配详细信息，请访问“主机”页面上的“资源”选项卡。重新配置主机上的角色以降低总内存分配额。请注意：Java 最大堆大小乘以 1.3 等于近似的 JVM 开销。

其实就是在节点上组件设置的内存超过了可用内存。默认总内存的0.8可用，0.2分配给Linux系统，这个参数可调。64G内存可以用51.2左右。

进入 主机 -> 选择节点 -> 资源 -> 内存 可用查看内存分配，在配置里搜索memory相关的调整即可。

 

HDFS和YARN优化：大数据组件部分优化