cdh 添加新主机

最新推荐文章于 2023-05-26 18:46:51 发布
最新推荐文章于 2023-05-26 18:46:51 发布
阅读量1.4k 收藏
点赞数
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cyz52/article/details/103553906
版权
本文介绍了如何通过软件包手动安装的方式在CDH集群中添加新主机，包括选择合适的版本，安装JDK，部署agent，配置服务器主机名，并在Cloudera Manager Web管理页面上完成主机添加流程。过程中需要注意与现有集群版本一致，以及解决可能出现的启动错误。
摘要由CSDN通过智能技术生成

1.1说明

CDH机器添加分三种方式

  1. 页面向导添加(最好离线)
  2. 软件包手动安装
  3. 原始码手动安装

第一种方式最简单，添加的节点会去主机下载安装包，但是在公网上ip反向解析域名，经常出错，离线会好点
第三种方式原始码安装需要自己指定管理目录
推荐第三种方式，会自动添加对应的服务，目录自动建立

这里分享第二种方式，软件包安装方法

1.2安装部署

  1. 主机名、ip等修改好，关闭防火墙，ssh免密码登录不是必须的

  2. 首先到http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/选择对应的版本，主要参考已有集群的agent的版本，进行选择，安装agent

  3. 下载对应版本的rpm包，如5.3.1版本的

cloudera-manager-daemons-5.3.1-1.cm531.p0.191.el6.x86_64.rpm
cloudera-manager-agent-5.3.1-1.cm531.p0.191.el6.x86_64.rpm
jdk-6u31-linux-amd64.rpm
  1. 安装jdk，最好与原有集群jdk版本保持一致
  2. 安装daemons、agent，rpm包
  3. 修改config 中server_host
vim etc/cloudera-scm-agent/config.ini 设置server_host为scm机器
最低0.47元/天 解锁文章
菜园子哇
关注
专栏目录
CDH 05.cdh本地源搭建配置
80后大叔爱学习
10-22 401
1、解决安装的时候报一下警告(禁用透明页)： echo never > /sys/kernel/mm/transparent_hugepage/defrag; echo never > /sys/kernel/mm/transparent_hugepage/enabled; vi /etc/rc.local # 添加如下两行，并同步该文件到其他服务器 echo never > /sys/kernel/mm/transparent_hugepage/defrag echo never &
CDH6.3.1添加新机器
最新发布
无忧
08-19 458
cdh 6.3.1添加新机器
cdh集群中添加新主机
萌兔兔MMQ！！
03-09 1450
一、新加机器环境配置python 首先得在新的主机环境中安装JDK，关闭防火墙、修改selinux、NTP时钟与主机同步、修改hosts、与主机配置ssh免密码登陆、保证安装好了perl和python。linux 二、上传cloudera-manager文件到/opt目录，修改agent配置文件：web vi /opt/cm-5.7.0/etc/cloudera-scm-agent/config.inishell server_host = Mastervim vim etc/cloudera-scm-ag
[1167]CDH集群添加主机
周小董
10-23 846
经过这些操作后，node04这台主机就被CM管理起来了，但是他还不属于任何一个集群。
CDH5.5.1增加新主机
TURING.DT
09-21 4400
1.说明 CDH机器添加分三种方式 1) 页面向导添加（最好离线，不然会从官网下载安装包时间较长） 2) 软件包手动安装 3) 原始码手动安装（原始码安装需要自己指定管理目录） 这里分享第二种方式，软件包安装方法 2.安装部署 1) 主机名、ip等修改好，关闭防火墙，ssh免密码登录,CM服务器配置下hosts文件解析新主机 2) 首先到http://archi
如何向CDH集群添加主机节点
u010585659的博客
08-22 1852
不知不觉干了两年多的大数据开发&运维，想当初入职时因为大数据组开发人手不足（就后来带我的一个人），把本来投的是运维开发岗的我调去了大数据组。虽然当时早就听说做大数据很有前途，但本硕学的都是通信工程的我完全没有基础啊不敢投啊，不知是人品好或是运气好该庆幸自己走了狗屎运转到了有“前途”的岗位，还是因为我的简历上有做Python开发的实习经历，反正我是体会到了大公司对应届校招生调岗是多么的随意。于是从这之后就开始了我的踩坑之旅。。。之所以来CSDN写博客了，是因为踩过的坑如果不记录是不知道什么时候又会再踩
CDH集群添加新服务器
bnuib521的博客
05-26 606
把ntp服务加入到服务器启动中systemctl enable ntpd。在CM的管理界面，点击主机，Add Hosts 疯狂下一波即可添加完成。执行命令hostnamectl set-hostname sh-1。执行命令hostnamectl set-hostname sh-2。~/.ssh/authorized_keys到新机器上。可以执行ntpdc -np查看ntp运行情况。vim /etc/rc.local 添加。在13上修改文件/etc/hosts，修改sh-1跟sh-2的ntp配置文件。
CDH5.12.1添加新主机
张老邪的博客
08-22 524
一． JDK安装 1.卸载自带JDK 查看安装的Java包 rpm -qa | grep java 将显示的java包全部删除 rpm -e --nodeps tzdata-java-2013g-1.el6.noarch 卸载自带的版本 yum -y remove java java-1.7.0-openjdk 验证是否还有java相关包 rpm -qa | grep java 2.安装JDK 在/usr下新建java文件夹 ==》 将压缩包复制到java中 ==》解压 ==》 配置 vi /e
CDH主机添加
weixin_30411819的博客
11-25 245
1.1说明 CDH机器添加分三种方式 1) 页面向导添加(最好离线) 2) 软件包手动安装 3) 原始码手动安装 第一种方式最简单，添加的节点会去主机下载安装包，但是在公网上ip反向解析域名，经常出错，离线会好点 第三种方式原始码安装需要自己指定管理目录 推荐第三种方式，会自动添加对应的服务，目录自动建立 这里分享第二种方式，软件包安装方法 1.2安装部署 ...
cdh6添加主机详解
我思，顾我在
09-11 1085
一、修改主机hostname 1、 hostnamectl set-hostname <new-hostname> 2、 vim /etc/hostname 二、安装jdk 下载并解压 下载地址：https://www.oracle.com/java/technologies/oracle-java-archive-downloads.html 解压: mkdir /usr/java tar -zxvf jdk-8u251-linux-x64.tar.gz -C /usr/java
ansible CDH 添加新主机
chenzl的专栏
10-09 445
# 查看系统 ansible newnode -m shell -a "df -h" # 修改hostname ansible {{HOSTIP}} -m hostname -a 'name=psjssqsjzxqs92' # 修改host和iptables,同步集群 ansible cluster -m copy -a 'src=cluster/hosts dest=/etc/hosts' a...
CDH常见错误之主机添加
予挚之的博客
03-24 2224
集群添加主机时出现的错误问题
CDH6.2.0-集群扩容(添加新节点)
永青技术博客
06-08 4174
向CDH6.2.0集群中添加新的主机节点 一、新节点基本环境准备 1、首先得在新的机器上关闭防火墙、修改selinux、NTP时钟与主机同步（阿里云忽略此步骤） 2、在新的机器上环境中安装JDK、修改hosts、与主机配置ssh免密码登录、保证安装好了perl和python. 3、上传cloudera-manager文件到/opt目录 [root@xx-xx cloudera-repos]# ls cloudera-manager-agent-6.2.0-968826.el7.x86_64.rpm
阿里云三台CentOS7.2配置安装CDH5.12
02-25 124
1 购买3台阿里云服务 2 配置好ssh连接客户端 根据自己情况连接 3 安装好MySQL5.7 跳过,见之前博客 安装在hadoop001上 4 设置好Hosts文件 3台机器同时操作 vim /etc/hosts #添加如下 172.24.8.138 hadoop001 172.24.8.136 hadoop002 172.24.8.1...
cloudera5.13.0手动添加新主机操作步骤
maximiliansheng的专栏
05-23 1656
准备工作 第一步：配置主机名 新机器初始化，挂载好硬盘，配置好hostname，例如 hadoop9 hostname hadoop9 ​ vim /etc/sysconfig/network ---- HOSTNAME=hadoop9 ---- ​ vi /etc/sysctl.conf ---- vm.swappiness = 10 ---- ​ sysctl -p ​ 第二步准备：...
CDH5.12版本安装笔记
henrylin9999的博客
02-02 240
系统环境准备 1、网络配置 vi /etc/sysconfig/network vi /etc/hosts 2、ssh免密钥登录 ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys scp /etc/hosts node3:/etc/ ...
CDH6.x企业级大数据平台搭建
01-30
本课程主要讲解在实际项目开发中，企业构建大数据平台的方案及实战。详细阐述企业级大数据平台的架构设计、机器选型、集群规划、技术选型、资源规划等技术方案。实战演练基于Cloudera Manager(CDH6)安装部署、监控管理、运营维护大数据平台的各个服务组件。从理论经验到实战演练，从设计思想到流程实施，亲力亲测，你也绝对可以。推荐进阶课程：大数据运维尖刀班
cdh添加元数据库postgresql
03-10
您好，关于cdh添加元数据库postgresql的问题，我可以回答。首先，您需要在CDH管理界面中选择“添加服务”，然后选择“PostgreSQL”作为您的元数据库。接下来，您需要配置PostgreSQL的相关参数，包括主机名、端口号、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值