Cloudera Manager5.15.0安装教程，每步附图，超详细

一、系统配置

1.hostname

在所有机器进行操作

1)规划主机名

• server

cmserver.ifoton.com.cn

• agent

agent1.ifoton.com.cn
agent2.ifoton.com.cn

2)设置主机名

hostname cmserver.ifoton.com.cn
hostnamectl set-hostname cmserver.ifoton.com.cn
hostnamectl set-icon-name cmserver.ifoton.com.cn

3)查看主机名

hostnamectl 查看设置情况

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-mNjNVlWQ-1627465207510)(./images/hostnamectl.png)]

2.hosts

在所有机器进行操作

编辑主机解析文件

vim /etc/hosts
    cloudera-scm-server_IP    cmserver.ifoton.com.cn           cmserver
    cloudera-scm-agent1_IP    agent1.ifoton.com.cn             agent1
    cloudera-scm-sagent2_IP   agent2.ifoton.com.cn             agent2

查看主机之间的连通性

ping agent1 -c 3    

3.系统变量

已启用透明大页面压缩，Cloudera-Magager可能会导致重大性能问题，禁用此设置：

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

更改文件描述符

vim /etc/security/limits.conf
    *		soft		nofile	32768
    *		hard		nofile	32768
    *		soft		nproc	65536
    *		hard		nproc	65536

ulimit -Hn 128000
ulimit -Sn 128000
ulimit –a

4.防火墙关闭

systemctl disable firewalld
systemctl stop firewalld
systemctl status firewalld

5.selinux关闭

setenforce 0

vim /etc/selinux/config
    SELINUX=disabled

getenforce

二、依赖安装

1.Mysql

Mysql安装参考Centos安装MySQL5.7教程

2.CONNECT-J

在Server、Mysql机器安装

1)下载

下载地址:https://downloads.mysql.com/archives/c-j/

创建文件夹存放临时文件

mkdir -p /data/connect-j && cd /data/connect-j

下载mysql-connect-java 压缩包并解压

wget https://downloads.mysql.com/archives/get/p/3/file/mysql-connector-java-5.1.43.tar.gz
tar -zxf mysql-connector-java-5.1.43.tar.gz

2)安装

复制到/usr/share/java下并重命名为mysql-connector-java.jar

cp mysql-connector-java-5.1.43/mysql-connector-java-5.1.43-bin.jar /usr/share/java/mysql-connector-java.jar

删除临时文件夹

cd .. && rm -fr connect-j

查看操作结果

ls /usr/share/java/mysql-connector-java.jar

三、Cloudera Manager安装

1.Yum配置

操作角色Server、Agent

导入Cloudera Manager 的 RPM-GPG-KEY

rpm --import https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/RPM-GPG-KEY-cloudera

2.Server

cloudera-manager-daemons 作为 cloudera-manager-server cloudera-manager-agent 的支持包，需要先安装

使用Yum 安装 cloudera-manager-daemons

yum -y install cloudera-manager-daemons

使用Yum 安装 cloudera-manager-server

yum -y install cloudera-manager-server

使用Yum 安装 cloudera-manager-agent

yum -y install cloudera-manager-agent

3.Agent

cloudera-manager-daemons 作为 cloudera-manager-agent 的支持包，需要先安装

使用Yum 安装 cloudera-manager-daemons

yum -y install cloudera-manager-daemons

使用Yum 安装 cloudera-manager-agent

yum -y install cloudera-manager-agent

四、初始化Mysql

角色名–数据库–用户 的对应表

Service	Database	User
Cloudera Manager Server	scm	scm
Activity Monitor	amon	amon
Reports Manager	rman	rman
Cloudera Navigator Audit Server	nav	nav
Cloudera Navigator Metadata Server	navms	navms

按照上表创建数据库、用户并授权

mysql –uroot -p

mysql>

create database scm DEFAULT CHARACTER SET utf8;
grant all on scm.* TO 'scm'@'localhost' IDENTIFIED BY 'Foton123$%^';
grant all on scm.* TO 'scm'@'%' IDENTIFIED BY 'Foton123$%^';

create database amon DEFAULT CHARACTER SET utf8;
grant all on amon.* TO 'amon'@'%' IDENTIFIED BY 'Foton123$%^';

create database rman DEFAULT CHARACTER SET utf8;
grant all on rman.* TO 'rman'@'%' IDENTIFIED BY 'Foton123$%^';

create database nav DEFAULT CHARACTER SET utf8;
grant all on nav.* TO 'nav'@'%' IDENTIFIED BY 'Foton123$%^';

create database navms DEFAULT CHARACTER SET utf8;
grant all on navms.* TO 'navms'@'%' IDENTIFIED BY 'Foton123$%^';

五、CM 启动配置

按照机器已经安装的角色操作

例如：Server机器安装了Server、Agent。
1.Serverer角色 2.Agent角色 里的步骤都需要进行操作

1.Server角色

数据库配信息初始化

/usr/share/cmf/schema/scm_prepare_database.sh mysql [-h MYSQL_IP/HOSTNAME] scm scm

启动Server服务

service cloudera-scm-server start

服务启动后，创建scm库表
查看Server服务状态

service cloudera-scm-server status

查看启动日志

tailf /var/log/cloudera-scm-server/cloudera-scm-server.log

添加开机启动

chkconfig cloudera-scm-server on

2.Agent角色

编辑Agent配置文件，填写Server IP地址

vim /etc/cloudera-scm-agent/config.ini  
    server_host=CMSERVER_IP

启动Agent服务

service cloudera-scm-agent start

查看Agent服务状态

service cloudera-scm-agent status

添加Agent开机启动

chkconfig cloudera-scm-agent on

六、服务启停命令

1.Server

启动

service cloudera-scm-server start

停止

service cloudera-scm-server stop

重启

service cloudera-scm-server restart

状态查看

service cloudera-scm-server status

开机启动

chkconfig cloudera-scm-server on

2.Agent

启动

service cloudera-scm-agent start

停止

service cloudera-scm-agent stop

重启

service cloudera-scm-agent restart

状态查看

service cloudera-scm-agent status

开机启动

chkconfig cloudera-scm-agent on

七、WEB界面配置

1.登录

http://CMSERVER_IP:7180
用户密码默认为：admin/admin

• 登录成功，安装成功

2.选择版本

接受许可条件，继续

选择企业版试用60天
点击左上角cloudera manager 图标进入主界面

3.添加服务

进入主界面添加CM服务

选择角色安装的机器

• Activity Monitor、Reports Manager、Cloudera Navigator Audit Server、Cloudera Navigator Metadata Server 这些角色要分配在mysql安装的机器上
  

在数据库设置中,数据库类型选择"mysql"
数据名称、用户名和密码参照初始化mysql中对应填写.角色的库名，授权的用户名和密码，点击测试链接，显示成功后，点击继续

• 未选择企业版只有Activity Monitor角色可以选择
• Telemetry Publisher 服务主机不选择
  

添加CMS服务，填写邮件服务器，没有不写,点击继续

运行命令安装角色

服务添加完成

4.查看效果

在主界面点击cloudera manager 服务名称

进入cloudera manager 服务状态界面，图表有数据

点击主机-所有主机

点击主机名

能查看到主机状态。运行状况为绿

5.服务启停

1)停止

主界面点击服务右侧选项，选择停止

CM对服务里的所有角色执行停止命令

点击服务名称，查看停止后的状态

2)启动

主界面点击服务右侧选项，选择启动

CM对服务里的所有角色执行启动命令

点击服务名称，查看启动后的状态

八. 新建集群

1. 在添加中选择 添加群集

2. 进入安装界面，勾选同意，点击继续

3. 选择所要类型(这里选择的是免费版)，点击继续

4. 点击继续

5. 指定集群的主机，点击继续

6. 选择”使用数据包” ，点击继续

7. 自动检测，点击继续

8. 检测环境，点击完成

1) 黄色告警：5 主机使用 NONE CDH 版本进行报告

• 解决方案：由于尚未开始安装cdh，出现该告警，可以忽略
  

9. 不选择安装的服务组合，点击如下红圈的Cloudera Manager 返回主页面

10. 自定义名称并点击重命名集群

11. 查看集群状态