CDH6.2 在线扩容

已于 2024-02-07 15:52:51 修改
阅读量964 收藏 30
点赞数 22
文章标签： cloudera hadoop 运维 hdfs yarn hbase
于 2024-02-07 15:47:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014021753/article/details/136070388
版权
本文详细介绍了如何在现有Hadoop集群规模不足时，通过添加新节点并配置ClouderaManager来实现在线扩容。步骤包括基础配置、安装相关软件、添加主机到CM、配置角色如DataNode、NodeManager和RegionServer等。
摘要由CSDN通过智能技术生成

当你大数据集群的规模已经无法满足当前数据需求时，就需要在线对集群进行扩容，该文章从头到尾手把手教你如何扩容 hadoop 集群，跟着我来做非常 nice！！！

一、目标

集群有三个节点，需要新添加两个节点
已有节点：
192.168.1.32 kf1-32-hdp
192.168.1.33 kf1-33-hdp
192.168.1.34 kf1-34-hdp

添加节点：
192.168.1.77 kf1-77-hdp
192.168.1.78 kf1-78-hdp

二、基础配置

1.系统环境

服务器配置按以前配置：手把手教你离线搭建CDH6.2-CSDN博客

可以用制作的服务器镜像直接新建虚拟机，快速又便捷

2.1.2. 配置网络（每个节点）
2.1.3. 编辑/etc/hosts文件（每个节点）
2.1.4. 关闭防火墙、禁止防火墙开机自启（每个节点）
2.1.5. ssh无密码登录
2.1.6. 配置NTP服务（所有节点）->改用chrony
2.1.7. 修改Linux swappiness参数(所有节点）
2.1.8. 禁用透明页(所有节点）
2.1.9. JDK安装（所有节点）
2.1.10. 创建/usr/share/java目录，将mysql-jdbc包放过去（所有节点）
2.1.11. 为保证防火墙、虚拟机参数修改后生效，各节点机器需要重启 reboot
2.1.15. 配置Cloudera Manager包yum源

2. 安装perl和python
yum install  perl

python先查看当前版本，默认系统自带即可，不行网上找安装命令吧！

3.上传cloudera-manager文件到/opt目录，并安装
mkdir -p /opt/cloudera/parcel-repo ##创建目录

上传文件到/opt/cloudera/parcel-repo，文件清单如下：

allkeys.asc
cloudera-manager-agent-6.2.0-968826.el7.x86_64.rpm
cloudera-manager-daemons-6.2.0-968826.el7.x86_64.rpm
cloudera-manager-server-6.2.0-968826.el7.x86_64.rpm
cloudera-manager-server-db-2-6.2.0-968826.el7.x86_64.rpm
docker-engine-1.7.1-1.el6.x86_64.rpm
enterprise-debuginfo-6.2.0-968826.el7.x86_64.rpm
oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm
repodata
RPM-GPG-KEY-cloudera

注：可以将master节点上的同目录下的文件复制到目标机器，一定要保证CDH版本和目前版本一致

4.安装 daemons和 agent
yum -y install cloudera-manager-daemons-6.2.0-968826.el7.x86_64
yum -y install cloudera-manager-agent-6.2.0-968826.el7.x86_64
5.修改 agent 配置文件
vi /etc/cloudera-scm-agent/config.ini ##创建目录
server_host = xxxx   #指向主控节点 cloudera-scm-server
6.新增节点创建 cloudera-scm 用户

可忽略，安装agent会自动创建

useradd --system --home=/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
7.启动代理服务
systemctl start cloudera-scm-agent

三、添加主机

1. CM中添加主机

image.png

2. 添加到集群

image.png

3. 选择主机

image.png
注：如果已经安装完agent，这里应该从Currently Mangerd Hosts这里选择已经检测到但是未托管的的主机

4. 分配

5. 服务器检查

检查结果

后面主机模板可以采用默认，不创建主机模板，添加节点后再从组件分配实例。

添加成功后，CM-主机会显示新添加主机
image.png

四、 配置角色

本次新增两台机器，仅添加DataNode、NodeManager、RegionServer三个角色

1.主机模板

创建主机模板
image.png
image.png
image.png

2.应用主机模板

选中新增的机器
image.png

image.png

3.启动 HDFS DataNode

下面为手动添加角色过程，如果用模板添加可忽略，直接启动
image.png
image.png


到hdfs -》实例 中将新添加的datanode节点启动即可
手动执行datanode负载平衡或执行 hadoop balancer

关于 hadoop balancer 参照：
https://blog.csdn.net/duanbiren123/article/details/81056393

4.启动 YARN NodeManager

手动添加和datanode过程类似

启动完成后可根据需求修改内存和cpu配置
容器内存: yarn.nodemanager.resource.memory-mb
容器虚拟 CPU 内核: yarn.nodemanager.resource.cpu-vcores

5.启动 RegionServer

RUN_1991
关注
cdh6.3.2集群在线主机扩容
nhm_lxy的专栏
10-08 240
cdh6.3.2集群主机在线扩容，cloudermanager添加主机，hadoop扩容
Hadoop100：大数据平台安装部署--CDH6.2版本【集群】
weixin_40612128的博客
02-02 6018
1：CDH介绍 CDH是Cloudera的100％开源平台发行版，包括Apache Hadoop，专为满足企业需求而构建。CDH提供开箱即用的企业使用所需的一切。通过将Hadoop与十几个其他关键的开源项目集成，Cloudera创建了一个功能先进的系统，可帮助您执行端到端的大数据工作流程。 简单来说：CDH 是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具（软件），使得集群的安装可以从几天的时间缩短为几个小时，运维人数也会从数十人降低到几个人，极大的提高了集群管理的效率。 2：CDH现状分
CDH6.2.0-集群扩容(添加新节点)
永青技术博客
06-08 4138
向CDH6.2.0集群中添加新的主机节点 一、新节点基本环境准备 1、首先得在新的机器上关闭防火墙、修改selinux、NTP时钟与主机同步（阿里云忽略此步骤） 2、在新的机器上环境中安装JDK、修改hosts、与主机配置ssh免密码登录、保证安装好了perl和python. 3、上传cloudera-manager文件到/opt目录 [root@xx-xx cloudera-repos]# ls cloudera-manager-agent-6.2.0-968826.el7.x86_64.rpm
CDH5.12.0 中扩容增加计算节点
weixin_33972649的博客
05-19 475
CDH5.12.0 中扩容增加计算节点 标签（空格分隔）： 大数据平台构建 一： 环境准备 二： 增加节点环境系统初始化 三： 增加节点关于CDH5.12.0环境配置 四： 在CM 上面节点增加 一：环境的概述与准备 概述： 很多时候，企业的大数据环境（CDH5.12.0），根据使用的时间越来越长，空间会有不足的情况，集群的计算 能力也因此下降， 此时需要对将大数据的 集群环境进行扩...
cdh添加新的节点扩容
qq_27552579的博客
05-18 789
今天公司现有的6台服务器cdh已经满了，现在需要扩容，第一次用cdh 在生产环境使用 jdk 安装， yum 源安装 ntp 安装
CDH6.2.0扩容
csdn_gyb的博客
02-14 835
扩容加节点步骤： #修改ip vi /etc/sysconfig/network-scripts/ifcfg-ens192 IPADDR="192.168.100.159" #重启网卡服务 systemctl restart network #修改主机名(新增的服务器) hostnamectl set-hostname server155 #安装常用的工具(新增的服务器) yum install sudo yum install -y vim yum -y install lrzsz yum -y i
CDH--Cloudera Manager集群自动化安装，集群扩容
.
09-25 1508
1、官网介绍: CDH是Cloudera的100％开源平台发行版，包括Apache Hadoop，专为满足企业需求而构建。CDH提供开箱即用的企业使用所需的一切。通过将Hadoop与十几个其他关键的开源项目集成，Cloudera创建了一个功能先进的系统，可帮助您执行端到端的大数据工作流程。 简单来说：CDH是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具（软件），使得集群的安装可以从几天的时间缩短为几个小时，运维人数也会从数十人降低到几个人，极大的提高了集群管理的效率。 ...
CDH集群扩容加节点
ChengYanan的博客
06-19 1869
文章目录先准备本地安装包新主机配置集群扩容步骤 先准备本地安装包 /var/www 目录下 文件列表如下 # [cdh01 root 13:28:55] [六 6月 19] /var/www/html/cloudera-repos/cm6.3.1 $ ll 总用量 32 -rw-r--r-- 1 root root 14041 6月 7 11:22 allkeys.asc drwxrwxr-x 2 2001 2001 4096 9月 25 2019 repodata -rw-rw-r-- 1 200
大数据CDH集群开启kerberos后主机名是否必须小写？
wangkuangood3200的专栏
09-12 1025
版权声明：本文为博主原创文章，未经博主允许不得转载。 一、传闻规则 大数据CDH集群如果要开启Kerberos，主机名必须要求小写，否则CDH集成Kerberos会失败。 二、背景 生产环境由于经常扩容，且集群有很多应用节点，如果采用/etc/hosts方式做主机之间的解析，那么人力成本会比较高，因此采用DNS。于是引入了一个问题，公司生产环境DNS对主机名解析，会将原先的主机名解析...
从入门到精通 - Fayson带你玩转CDH
Hadoop_SC的博客
09-22 3920
Fayson保持每天推一篇文章，本文随之每天更新。 以下所有文章均为超链接，可以直接点击文章名跳转。 还没附上超链接的文章是还没上传的，会再后续更新后陆续补上 1.规划设计 1.1.on-premise部署规划 0001-《CDH网络要求(Lenovo参考架构)》 0062-《如何为Hadoop集群选择正确的硬件》 0158-《如何给Hadoop集群划分角色》 1.2.on private c...
Flink_集群搭建
qq_44509920的博客
07-07 371
文章目录3.1 standalone 集群环境3.1.1 准备工作3.1.2 下载安装包3.1.3 集群规划3.1.4 步骤3.1.5具体操作3.1.6 启动/停止 flink 集群3.1.7 Flink 集群的重启或扩容3.1.8 Standalone 集群架构3.2 高可用 HA 模式3.2.1 HA 架构图3.2.2 集群规划3.2.3 步骤3.2.4 具体操作3.3 yarn 集群环境3.3.1 准备工作3.3.2 集群规划3.3.3 修改 hadoop 的配置参数3.3.4 修改全局变量/etc/
【学习手册】Apache pulsar操作手册
遇事不决问春风
02-09 4025
pulsar的安装部署、api常规操作及权限验证
【笔记】Apache pulsar学习手册
遇事不决问春风
12-03 2216
Apache pulsar学习手册 写在前头：本文主要由【安装部署】、【概念简介】、【常用操作】、【权限管理】几部分构成。因为是Typora导入过来，有些图片用不了。有啥问题评论区见 1、Apache pulsar安装部署 1.1、前期准备 zookeeper 3.4.5 pulsar安装包 2.8.1 集群免密环境 1.2、部署步骤 1.2.1、上传安装包到linux服务器上 下载地址：https://pulsar.apache.org/zh-CN/download/ 1.2.2、解压文件到data
CDH621 扩容
tangchaolizis的博客
09-01 279
业务的需要增加集群的存储能力以及计算能力，计划在已经安装好的CDH集群的基础上新增4台机器，采取扩容的方式 安装前准备： (1) 已经让运维的同事做部分的准备工作，安装前准备 检查了免密 查看hosts： cat /etc/hosts 配置了java： java -version 查看了swap内核： cat /proc/sys/vm/swappiness 防火墙是否关闭 ： systemctl status firewalld.service 透明大页面 ： .
CDH6 cluster添加新节点
liuwei0376的专栏
11-06 3614
一、节点规划 NO IP HOSTNAME ROLE 1 11.11.11.11 server11-11 dn 2 11.11.11.12 server11-12 dn 二、安装前准备 2.1 配置yum仓库 Yum资源库配置目录位于/etc/yum.repos.d下： ①、创建CM的yum资源库配置文件cloudera-repo.repo [cloudera-repo] ...
CDH 由单机版本的扩容
vbaspdelphi的专栏
11-15 971
首先，我们是一台单机版本的CDH 加入我们打算迁移namenode到其他的主机 那么会得到提示，必须首先是HA 稍后你还会得到提示，要想HA，必须得有三个JN，也就是JournalNode 升级完成后的集群，有两个NN，三个JN 升级的时候，会有服务重启的现象，导致HDFS有短暂不可用的时候，大概几分钟吧。 JN节点在扩容的时候，需要指定目录，虽然有默认，但是你不填是不会放你过去的 下面两
6.2 Cloudera Manager(CDH)安装
心雨先生
06-20 2633
前提：前面安装前准备步骤没有出错1、安装Cloudera Manager Server、Agent上传cloudera-manager-el6-cm5.4.3_x86_64.tar.gz 包mkdir /opt/cloudera-managertar xvzf cloudera-manager*.tar.gz -C /opt/cloudera-manager或 tar -zxvf clouder...
CDH集群HDFS磁盘扩容及去除磁盘的问题
没有合适的昵称
11-21 3402
将磁盘挂载到指定的目录下 1.为新磁盘创建分区 fdisk -l 2. 指定磁盘创建分区 fdisk /dev/vdb Command (m for help): n(n表示创建分区) Partition type:(表示磁盘有两种分区类型： “p”表示主分区。 “e”表示扩展分区。) (磁盘使用MBR分区形式，最多可以创建4个主分区，或者3个主分区加1个扩展分区，扩展分区不可以直接使用，需要...
CDH 集群离线部署、大数据组件安装与扩容详细步骤(cdh-6.3.1)
最新发布
一只小白
09-13 1190
CDH在实际集群部署中，需要先搭建cm-server服务，然后在各个节点部署cm-agent服务。难点全部在cm-server服务搭建阶段和cm-agent环境初始化。后面涉及到大数据组建的搭建全部是在CDH页面操作，大家可以多摸索摸索使用。
CDH6.2支持hadoop3.1.3吗
07-12
Cloudera Distribution for Hadoop (CDH) 6.2不直接支持Apache Hadoop 3.1.3。在CDH 6.2中，默认使用的是Apache Hadoop 3.0.x系列。但是，您可以通过进行一些额外的配置和调整来实现使用Hadoop 3.1.3。 Cloudera提供了名为"CDH and Apache Hadoop"版本兼容性矩阵的文档，其中列出了不同版本的CDH与Apache Hadoop的兼容性。根据该兼容性矩阵，在CDH 6.2中，Apache Hadoop版本应该是3.0.x。您可以在Cloudera官方网站上找到该文档以获取最新的兼容性信息。 如果您需要使用Hadoop 3.1.3，您可以考虑升级到Cloudera Distribution for Hadoop (CDH) 6.3或更高版本。在CDH 6.3及更高版本中，Cloudera开始支持Apache Hadoop 3.1.x系列。请确保在升级之前仔细阅读和遵循Cloudera的升级文档和建议。 请注意，在进行任何版本的升级之前，建议仔细阅读Cloudera的文档和指南，并在测试环境中进行适当的验证和测试，以确保兼容性和稳定性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值