CDH集群如何在主机添加新角色

最新推荐文章于 2022-05-16 15:00:40 发布
最新推荐文章于 2022-05-16 15:00:40 发布
阅读量1.3k 收藏 1
点赞数 1
分类专栏： 大数据集群 文章标签： hadoop sqoop cloudera 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/GentleCAT_1/article/details/109694237
版权

前言

提示：本次涉及的是CDH5.14和CM5.14，因为公司发展需要，这次需要从原来的三台集群扩展到十一台集群，我第一个想到就是使用cdh来搭建集群，搭建完之后使用的是基础角色配置，但到后来需要添加新的角色时不知道从什么地方添加，自己找到之后记录在此

提示：以下是本篇文章正文内容，下面案例可供参考

集群配置图

在这里插入图片描述

添加新的角色

添加服务
第一步
选择要添加的角色
第二步
选择sqoop
第三步
选择主机
第四步
正在部署
第五步
完成
第六步

查看集群角色

第七步

杨白柚
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
在cdh平台上创建新用户
kergp9991的博客
04-10 5164
操作背景 cdh平台一般上使用root去安装平台，hadoop中权限是使用hdfs用户去操作的。所以常常会出现用户访问权限问题，如下图，权限没有配置好，即使使用root用户也会有权限问题。 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ZQp4c5gZ-1586510736131)(44A9CF2E0B514AA4AA07AB35C5CB5B23)] 尝试修改 添加...
CDH新增计算节点，并对新增的计算节点，添加服务角色的详细具体步骤
阿啄debugIT
10-07 1748
前言 最近发现，公司的的大数据环境，空间有不足的情况，集群的计算能力也下降， 此时需要对将大数据的集群环境进行扩容 增加计算节点。 操作步骤 集群示意图： 准备好linux环境 配置hadoop账号，ssh免密，关掉防火墙，磁盘挂载 1：创建hadoop账号 useradd hadoop ２：ssh无密码登陆 su hadoop ssh-keygen -t rsa #复制到所有datanode，并测试ssh登陆 cp id_rsa.pub authorized_key ３：配置h
CDH 集群的角色分配
浅汐入梦的博客
05-16 1565
参考了许多文章....未列举😥
CDH5.x集群在新节点上分配角色
liuwei0376的专栏
11-09 2126
以下以Hadoop集群加入3台新节点为例,说明如何在其上进行角色的分配. 假如新节点的IP与hostname对应关系如下: 编号 IP 主机名 1 111.111.111.111 dn9.hadoop.com 2 111.111.111.112 dn10.hadoop.com 3 111.111.111.113 dn11.hadoop.com 一. 添加角色 1.进入Cloudera Manager主页. 2.点击集群HDFS组件最右侧的倒三角图标, 之后点击菜单中的"实例"选项
CDH5如何重新配置主机角色
天天向上
06-10 5316
可能在Cloudera Manager的安装过程中，最初的主机角色配置不够恰当，那之后在使用CDH的过程中，该如何重新配置主机角色呢？
CDH集群部署.doc
03-21
2. 主机hosts文件配置：在集群内所有主机的Host文件中添加配置。 3. SSH无密码登录：配置SSH无密码登录，实现集群内的免密码登录。 三、依赖组件安装 1. MySQL安装：安装MySQL数据库，以存储集群的元数据。 2. ...
使用IDEA工具连接CDH集群里面的hive组件
10-06
本篇文章将详细介绍如何使用IDEA连接到CDH（Cloudera Distribution Including Apache Hadoop）集群中的Hive组件，以便进行Hive SQL的编写、测试和执行。 首先，我们需要创建一个Java工程。在IDEA中，点击“File” -...
CDH集群软件安装手册@20191118.docx
11-18
1. 硬件信息确认：在安装CDH集群之前，需要确认硬件信息，包括CPU、内存、磁盘空间等。 2. 系统信息确认：确认操作系统的版本、类型和架构等信息。 3. 网络确认：确认网络连接、网络协议和网络带宽等信息。 CDH集群...
CDH6.3.2集群部署手册
最新发布
03-26
CDH6.3.2集群部署手册是用于指导用户在其环境中部署Cloudera Distribution for Hadoop（CDH）版本6.3.2的文档。CDH是一个开源的大数据管理平台，旨在简化大数据的管理和操作，并提供各种工具和组件来处理和分析大...
大数据CDH集群部署文档v1.1.docx
08-13
* 添加CDH安装目录及myshell目录 * 修改hostname * 禁用selinux * 关闭防火墙 * 设置swap分区 大数据CDH集群管理 大数据CDH集群管理包括以下几个方面： * 集群监控：监控集群的运行状态 * 集群配置：配置集群的...
【大数据集群运维】如何给Cloudera Enterprise 6.3.x 管理下的Hadoop大数据集群中的各个主机添加集群功能和分配功能角色
liuchunhang的博客
05-14 714
一功能分配 1.文档编写目的 本文主要介绍由Cloudera Manager管理的CDH集群的角色划分。实际部署你可能还需要考虑工作负载的类型和数量，真实要部署的哪些服务，硬件资源，配置，以及其他因素。当你使用Cloudera Manager的安装向导来安装CDH时，CM会根据主机的可用资源，自动的分配角色到各台主机，边缘节点除外。你可以在向导中使用”自定义角色分配 - Customize Role Assignments”来更改这些默认划分，当然你也可以以后再使用Cloudera Manager来增加或修
CDH集群服务器主机节点与角色分配相关思考
weixin_46576686的博客
10-26 1626
默认首先安装的是： zookeeper -- 因为hadoop的ha高可用性需要用到zookeeper（zkfailovercontroller 与hdfs 的先后顺序影响不到） yarn的resource manager等资源管理用到 hbase的region reserver入口管理 响应客户端请求需要用到 kafka的topic等元数据保存用到了zookeeper （Zookeeper Server 进程 奇数个 paxos算法核心--为了保证半数以上投票支持 且节约资源 需要是奇数...
CDH4 动态添加datanode和nodemanager
一只刚刚上路的猿
07-13 1956
想要在运行中的hadoop集中中动态添加或删除节点，肿么办呢？          【准备工作：】          1. 如是添加节点，则需要将所有新增数据节点上的Hadoop环境都已经按已有环境部署完毕（host、ssh等）          2. 需要的配置项：                  (1) dfs.hosts 配置存放待上线数据节点名字文件的绝对路径。（俺把所有线上节点都
cdh集群中添加新主机
十色花的博客
10-17 7854
1、新加机器环境配置 首先得在新的主机环境中安装JDK，关闭防火墙、修改selinux、NTP时钟与主机同步、修改hosts、与主机配置ssh免密码登录、保证安装好了perl和python。 2、上传cloudera-manager文件到/opt目录，修改agent配置文件： vi /opt/cm-5.7.0/etc/cloudera-scm-agent/config.ini server...
CDH5-角色分配和最终安装
weixin_39182877的博客
01-15 5230
角色分配: 第一阶段角色: hadoop001: mysql cm-server cm-agent hadoop002: cm-agent hadoop003: cm-agent cm(5个服务):hadoop001  第二阶段角色: hdfs 、yarn 、zk hadoop001: NN     DN    RM NM     ZK hadoop002: SNN
CDH5.5.1增加新主机
TURING.DT
09-21 4348
1.说明 CDH机器添加分三种方式 1) 页面向导添加（最好离线，不然会从官网下载安装包时间较长） 2) 软件包手动安装 3) 原始码手动安装（原始码安装需要自己指定管理目录） 这里分享第二种方式，软件包安装方法 2.安装部署 1) 主机名、ip等修改好，关闭防火墙，ssh免密码登录,CM服务器配置下hosts文件解析新主机 2) 首先到http://archi
CDH 删除 角色
u011594486的专栏
08-30 5934
一、 先选中角色实例，关闭角色。二，删除选中的角色实例。
向CDH5集群中添加新的主机节点
weixin_30416497的博客
06-15 351
向CDH5集群中添加新的主机节点 步骤一：首先得在新的主机环境中安装JDK，关闭防火墙、修改selinux、NTP时钟与主机同步、修改hosts、与主机配置ssh免密码登录、保证安装好了perl和python. 步骤二：上传cloudera-manager-el6-cm5.0.0_x86_64.tar.gz文件到/opt目录解压，修改agent配置文件： 　　 vi/opt/c...
企业级Hadoop CDH5.13.1集群搭建指南
4. **CDH组件安装**：通过CM界面添加集群，选择安装的CDH组件，分配到各个节点。 5. **配置参数**：根据业务需求调整Hadoop相关配置，如HDFS的副本数，YARN的内存和CPU设置等。 6. **数据节点准备**：格式化HDFS，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值