一、系统配置
1.hostname
在所有机器进行操作
1)规划主机名
- server
cmserver.ifoton.com.cn
- agent
agent1.ifoton.com.cn
agent2.ifoton.com.cn
2)设置主机名
hostname cmserver.ifoton.com.cn
hostnamectl set-hostname cmserver.ifoton.com.cn
hostnamectl set-icon-name cmserver.ifoton.com.cn
3)查看主机名
hostnamectl 查看设置情况
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-mNjNVlWQ-1627465207510)(./images/hostnamectl.png)]
2.hosts
在所有机器进行操作
编辑主机解析文件
vim /etc/hosts
cloudera-scm-server_IP cmserver.ifoton.com.cn cmserver
cloudera-scm-agent1_IP agent1.ifoton.com.cn agent1
cloudera-scm-sagent2_IP agent2.ifoton.com.cn agent2
查看主机之间的连通性
ping agent1 -c 3
3.系统变量
已启用透明大页面压缩,Cloudera-Magager可能会导致重大性能问题,禁用此设置:
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
更改文件描述符
vim /etc/security/limits.conf
* soft nofile 32768
* hard nofile 32768
* soft nproc 65536
* hard nproc 65536
ulimit -Hn 128000
ulimit -Sn 128000
ulimit –a
4.防火墙关闭
systemctl disable firewalld
systemctl stop firewalld
systemctl status firewalld
5.selinux关闭
setenforce 0
vim /etc/selinux/config
SELINUX=disabled
getenforce
二、依赖安装
1.Mysql
Mysql安装参考Centos安装MySQL5.7教程
2.CONNECT-J
在Server、Mysql机器安装
1)下载
下载地址:https://downloads.mysql.com/archives/c-j/
创建文件夹存放临时文件
mkdir -p /data/connect-j && cd /data/connect-j
下载mysql-connect-java 压缩包并解压
wget https://downloads.mysql.com/archives/get/p/3/file/mysql-connector-java-5.1.43.tar.gz
tar -zxf mysql-connector-java-5.1.43.tar.gz
2)安装
复制到/usr/share/java下并重命名为mysql-connector-java.jar
cp mysql-connector-java-5.1.43/mysql-connector-java-5.1.43-bin.jar /usr/share/java/mysql-connector-java.jar
删除临时文件夹
cd .. && rm -fr connect-j
查看操作结果
ls /usr/share/java/mysql-connector-java.jar
三、Cloudera Manager安装
1.Yum配置
操作角色Server、Agent
导入Cloudera Manager 的 RPM-GPG-KEY
rpm --import https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/RPM-GPG-KEY-cloudera
2.Server
cloudera-manager-daemons 作为 cloudera-manager-server cloudera-manager-agent 的支持包,需要先安装
使用Yum 安装 cloudera-manager-daemons
yum -y install cloudera-manager-daemons
使用Yum 安装 cloudera-manager-server
yum -y install cloudera-manager-server
使用Yum 安装 cloudera-manager-agent
yum -y install cloudera-manager-agent
3.Agent
cloudera-manager-daemons 作为 cloudera-manager-agent 的支持包,需要先安装
使用Yum 安装 cloudera-manager-daemons
yum -y install cloudera-manager-daemons
使用Yum 安装 cloudera-manager-agent
yum -y install cloudera-manager-agent
四、初始化Mysql
角色名–数据库–用户 的对应表
Service | Database | User |
---|---|---|
Cloudera Manager Server | scm | scm |
Activity Monitor | amon | amon |
Reports Manager | rman | rman |
Cloudera Navigator Audit Server | nav | nav |
Cloudera Navigator Metadata Server | navms | navms |
按照上表创建数据库、用户并授权
mysql –uroot -p
mysql>
create database scm DEFAULT CHARACTER SET utf8;
grant all on scm.* TO 'scm'@'localhost' IDENTIFIED BY 'Foton123$%^';
grant all on scm.* TO 'scm'@'%' IDENTIFIED BY 'Foton123$%^';
create database amon DEFAULT CHARACTER SET utf8;
grant all on amon.* TO 'amon'@'%' IDENTIFIED BY 'Foton123$%^';
create database rman DEFAULT CHARACTER SET utf8;
grant all on rman.* TO 'rman'@'%' IDENTIFIED BY 'Foton123$%^';
create database nav DEFAULT CHARACTER SET utf8;
grant all on nav.* TO 'nav'@'%' IDENTIFIED BY 'Foton123$%^';
create database navms DEFAULT CHARACTER SET utf8;
grant all on navms.* TO 'navms'@'%' IDENTIFIED BY 'Foton123$%^';
五、CM 启动配置
按照机器已经安装的角色操作
例如:Server机器安装了Server、Agent。
1.Serverer角色 2.Agent角色 里的步骤都需要进行操作
1.Server角色
数据库配信息初始化
/usr/share/cmf/schema/scm_prepare_database.sh mysql [-h MYSQL_IP/HOSTNAME] scm scm
启动Server服务
service cloudera-scm-server start
服务启动后,创建scm库表
查看Server服务状态
service cloudera-scm-server status
查看启动日志
tailf /var/log/cloudera-scm-server/cloudera-scm-server.log
添加开机启动
chkconfig cloudera-scm-server on
2.Agent角色
编辑Agent配置文件,填写Server IP地址
vim /etc/cloudera-scm-agent/config.ini
server_host=CMSERVER_IP
启动Agent服务
service cloudera-scm-agent start
查看Agent服务状态
service cloudera-scm-agent status
添加Agent开机启动
chkconfig cloudera-scm-agent on
六、服务启停命令
1.Server
启动
service cloudera-scm-server start
停止
service cloudera-scm-server stop
重启
service cloudera-scm-server restart
状态查看
service cloudera-scm-server status
开机启动
chkconfig cloudera-scm-server on
2.Agent
启动
service cloudera-scm-agent start
停止
service cloudera-scm-agent stop
重启
service cloudera-scm-agent restart
状态查看
service cloudera-scm-agent status
开机启动
chkconfig cloudera-scm-agent on
七、WEB界面配置
1.登录
http://CMSERVER_IP:7180
用户密码默认为:admin/admin
- 登录成功,安装成功
2.选择版本
接受许可条件,继续
选择企业版试用60天
点击左上角cloudera manager 图标进入主界面
3.添加服务
进入主界面添加CM服务
选择角色安装的机器
- Activity Monitor、Reports Manager、Cloudera Navigator Audit Server、Cloudera Navigator Metadata Server 这些角色要分配在mysql安装的机器上
在数据库设置中,数据库类型选择"mysql"
数据名称、用户名和密码参照初始化mysql中对应填写.角色的库名,授权的用户名和密码,点击测试链接,显示成功后,点击继续
- 未选择企业版只有Activity Monitor角色可以选择
- Telemetry Publisher 服务主机不选择
添加CMS服务,填写邮件服务器,没有不写,点击继续
运行命令安装角色
服务添加完成
4.查看效果
在主界面点击cloudera manager 服务名称
进入cloudera manager 服务状态界面,图表有数据
点击主机-所有主机
点击主机名
能查看到主机状态。运行状况为绿
5.服务启停
1)停止
主界面点击服务右侧选项,选择停止
CM对服务里的所有角色执行停止命令
点击服务名称,查看停止后的状态
2)启动
主界面点击服务右侧选项,选择启动
CM对服务里的所有角色执行启动命令
点击服务名称,查看启动后的状态
八. 新建集群
1. 在添加中选择 添加群集
2. 进入安装界面,勾选同意,点击继续
3. 选择所要类型(这里选择的是免费版),点击继续
4. 点击继续
5. 指定集群的主机,点击继续
6. 选择”使用数据包” ,点击继续
7. 自动检测,点击继续
8. 检测环境,点击完成
1) 黄色告警:5 主机使用 NONE CDH 版本进行报告
- 解决方案:由于尚未开始安装cdh,出现该告警,可以忽略