Clouder Manager日常管理及使用

📢📢📢📣📣📣
哈喽！大家好，我是【IT邦德】，江湖人称jeames007，10余年DBA及大数据工作经验
一位上进心十足的【大数据领域博主】！😜😜😜
中国DBA联盟(ACDU)成员，目前服务于工业互联网
擅长主流Oracle、MySQL、PG、高斯及Greenplum运维开发，备份恢复，安装迁移，性能优化、故障应急处理等。
✨ 如果有对【数据库】感兴趣的【小可爱】，欢迎关注【IT邦德】💞💞💞
❤️❤️❤️感谢各位大可爱小可爱！❤️❤️❤️

前言

本文祥细说明了Clouder Manager日常的运维及管理。

---

📣 1.整体运行状态

进入主页后，可以看到详细的内容，例如如下报错提示

主机 agent01 上的内存被调拨过度。总内存分配额是 3.7 GiB 个字节，
但是 RAM 只有 3.7 GiB 个字节（其中的 755.0 MiB 个字节是保留给系统使用的）。
如需获得分配详细信息，请访问“主机”页面上的“资源”选项卡。
重新配置主机上的角色以降低总内存分配额。请注意：Java 最大堆大小乘以 1.3 等于近似的 JVM 开销。

📣 2.添加服务

例如新增flume服务，勾选flume，然后选择角色分配部署节点，继续

启动新增的服务,等待启动步骤完成

以上步骤完成后，flume服务添加完成了

📣 3.用户管理页面操作记录

选择菜单，点击审核既可以看到用户管理界面操作的一些记录。

📣 4.CDH集群新增agent节点

✨ 4.1 节点host设置

192.168.6.8 # hostnamectl set-hostname agent03

✨ 4.2 密钥分发

# cm-server
[root@cm-server ~]# ssh-copy-id 192.168.6.8

# agent03
[root@agent03 ~]# ssh-copy-id 192.168.6.5

✨ 4.3 hosts解析新增节点

# cm-server
[root@cm-server ~]# vim /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

# CDH
192.168.6.5   cm-server
192.168.6.6   agent01
192.168.6.7   agent02
192.168.6.8   agent03

# 分发hosts给其他节点
[root@cm-server ~]# for i in agent01 agent02 agent03;do scp /etc/hosts $i:/etc/hosts;done

✨ 4.4 新节点关闭防火墙

[root@agent03 ~]# systemctl disable firewalld
[root@agent03 ~]# systemctl stop firewalld

✨ 4.5 新节点关闭SELINUX

[root@agent03 ~]# setenforce 0
setenforce: SELinux is disabled
[root@agent03 ~]# vi /etc/selinux/config
#将SELINUX置为disabled
SELINUX=disabled
注意：设置之后记得重启即可

✨ 4.6 新节点配置时间同步

# cm-server
[root@cm-server ~]# scp /etc/chrony.conf agent03:/etc/chrony.conf
# agent03
[root@agent03 ~]# systemctl restart chronyd && systemctl enable chronyd
[root@agent03 ~]# chronyc sources
210 Number of sources = 1
MS Name/IP address         Stratum Poll Reach LastRx Last sample               
===============================================================================
^* cm-server                    11   6    17    21   +690ns[ -614ns] +/-   91ms

✨ 4.7 新节点swappiness参数

echo “vm.swappiness = 0” >> /etc/sysctl.conf
sysctl -p

✨ 4.8 新节点关闭透明大页面

# 各服务器节点均执行
[root@agent03 ~]# echo never > /sys/kernel/mm/transparent_hugepage/defrag
[root@agent03 ~]# echo never > /sys/kernel/mm/transparent_hugepage/enabled

cat >> /etc/rc.local  <<EOF
if test -f /sys/kernel/mm/transparent_hugepage/enabled; then
echo never > /sys/kernel/mm/transparent_hugepage/enabled
fi
if test -f /sys/kernel/mm/transparent_hugepage/defrag; then
echo never > /sys/kernel/mm/transparent_hugepage/defrag
EOF

chmod +x /etc/rc.d/rc.local

grep Huge /proc/meminfo
HugePages_Total:显示0 表示设置成功

✨ 4.9 确认节点上已安装python

[root@agent03 ~]# python -V
Python 2.7.5

✨ 4.10 新节点java安装

# 创建java文件目录
[root@agent03 ~]# mkdir -p /usr/java
# cm-server 直接从server端拷贝
[root@cm-server ~]# scp -r /usr/java/default agent03:/usr/java/
# 环境变量profile
[root@agent03 ~]# vi /etc/profile
# JAVA_HOME
export JAVA_HOME=/usr/java/default
export CLASSPATH=./:$JAVA_HOME/lib
export PATH=$JAVA_HOME/bin:$PATH
# 引用生效
[root@agent03 ~]# source /etc/profile

✨ 4.11 拷贝 JDBC 驱动包

#cm-server
[root@cm-server ~]# scp /opt/software/mysql-connector-java-8.0.20.jar agent03:/usr/share/java/mysql-connector-java.jar

✨ 4.12 安装Clouder Manager Agent

# 将安装包从cm-server分发过去
[root@cm-server ~]# cd /software/
[root@cm-server software]# scp cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm agent03:~/
[root@cm-server software]# scp cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm agent03:~/
# 在agent03上执行安装
[root@agent03 ~]# yum localinstall -y cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
[root@agent03 ~]# yum localinstall -y cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm

# 在agent03上更改agent配置文件
[root@agent03 ~]# vim /etc/cloudera-scm-agent/config.ini
# 将server_host的配置改为server的主机名
server_host=cm-server

✨ 4.13 启动新agent服务

[root@agent03 ~]# systemctl start cloudera-scm-agent
[root@agent03 ~]# systemctl enable cloudera-scm-agent

✨ 4.14 CM添加节点

页面进行后续添加，找到Add Hosts

选择添加到哪个集群并继续

选择当前管理的主机，会将还未加入到集群的新节点罗列出来

Install Parcels和检查主机正确性操作与之前相同

选择主机模板，如果长期使用的集群，一般都会有模板的，主要是节点的角色，创建好直接有哪些服务的node等等；没有则可以直接选择无，代表加入集群后，手动添加服务实例。

等待部署客户端基本配置和环境点击完成

将服务实例部署至新agent

至此，添加一个新集群节点，并设置新服务实例全部完成