CDH5新增机器节点
学习引用:
#cdh6.
https://blog.csdn.net/lingeio/article/details/106218508
#cdh5.
https://blog.csdn.net/ZZQHELLO2018/article/details/105163412/
https://blog.csdn.net/Allenzyg/article/details/106355770
步骤
1. 修改主机名
2. 配置新节点hosts和各结点映射(/etc/hosts)
3. 关闭防火墙
4. 配置ntp。与集群相同,从节点都同步主节点时间
5. 免密登录
6. 安装JDK
7. 禁用透明大页面压缩
9. 禁用tuned系统调优服务
10. 离线rpm安装daemons和agent
11. agent修改/etc/cloudera-scm-agent/config.ini
12. 上传CDH至/opt/cloudera/parcel-repo/
13. 配置新从机config.ini
cdh添加节点具体操作如下:
#step1 : 修改主机名 ==========================================================
vim /etc/hostname
cat /etc/hostname
#删除里面的内容, 写上新的主机名,即可
#step2. 配置新节点hosts和各结点映射(/etc/hosts) ===============================================
新旧节点都配置一下。
vim /etc/hosts
#step3 : 关闭防火墙 ========================================================
#新节点关闭防火墙==========
sudo systemctl stop firewalld
sudo systemctl disable firewalld
sudo systemctl status firewalld
#关闭安全写入检查=====
vi /etc/selinux/config
#将SELINUX=enforcing 改成 SELINUX=disabled
#关闭按却写入检查还可以用如下命令直接操作:
sudo sed -i "s/SELINUX=enforcing/SELINUX=disabled/" /etc/selinux/config
#重启后查看=========
命令: getenforce
显示 : Disabled
命令: sestatus -v
显示 : SELinux status: disabled
#step4. 配置ntp。与集群相同,从节点都同步主节点时间 ===============================================
#step5. 免密登录=================================================================================
在master和新slove之间配置
ssh-keygen -t rsa
ssh-copy-id xxxx
#step6. 安装JDK=================================================================================
#安装java
-
#配置环境变量
JAVA_HOME=/usr/java/jdk1.8.0_251
JRE_HOME=/usr/java/jdk1.8.0_251/jre
CLASS_PATH=.:$JAVA_HOME/bin/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export JAVA_HOME JRE_HOME CLASS_PATH PATH
#step7(选).禁用透明大页面压缩===================================================================
【https://blog.csdn.net/qq_33887096/article/details/114532935】
#首先查看透明大页是否启用,[always] never表示已启用,always [never]表示已禁用
cat /sys/kernel/mm/transparent_hugepage/enabled
[always] madvise never
#如果是启用状态,修改/etc/rc.d/rc.local文件并添加以下两行
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
#上述修改要重启才能生效
#检查是否关闭透明大页的命令:
grep Huge /proc/meminfo
#step9(选). 禁用tuned系统调优服务=====================================================================
#关闭tuned服务
tuned-adm off
确保没有已激活的配置
tuned-adm list
如果输出内容中包含No current active profile表示关闭成功:
#关闭并且禁用tuned服务
systemctl stop tuned
systemctl disable tuned
#step10. 安装agent,新增节点创建用户cloudera-scm============================================
#注意,如下生产上是直接放在/opt/下
mkdir /opt/cloudera-manager
tar -zxvf cloudera-manager-centos7-cm5.11.1_x86_64.tar.gz -C /opt/cloudera-manager/
userdel cloudera-scm
useradd \
--system \
--home=/opt/cloudera-manager/cm-5.11.1/run/cloudera-scm-server \
--no-create-home \
--shell=/bin/false \
--comment "Cloudera SCM User" cloudera-scm
#step11. 上传CDH至/opt/cloudera/parcel-repo/ ====================================================
CDH-6.0.1-1.cdh6.0.1.p0.590678-el7.parcel
#修改.sha256文件后缀为.sha,在manifest.json中查看el7的序列输入到.sha文件中
CDH-6.0.1-1.cdh6.0.1.p0.590678-el7.parcel.sha256
manifest.json
#step12 : 配置从节点cloudera-manger-agent指向主节点服务器(所有agent)==================================
#新从节点。
vi /opt/cloudera-manager/cm-5.11.1/etc/cloudera-scm-agent/config.ini
#将server_host改为CMS所在的主机名即主节点主机名 (既, server_host=localhost改成server_host=主节点主机名)
#step13 : 启动 CM Agent==========================================================================
/opt/cloudera-manager/cm-5.16.1/etc/init.d/cloudera-scm-agent start
step14. 添加机器CDH操作
略