CDH角色迁移和硬盘扩容

专注大数据的Lyer

已于 2024-09-27 18:20:28 修改

阅读量778

点赞数 19

文章标签： java 大数据 hadoop hive hdfs

于 2024-09-27 18:10:37 首次发布

本文链接：https://blog.csdn.net/sinat_36709196/article/details/142599742

版权

1.概述

生产CDH集群硬盘不足，HDFS datanode节点数据不平衡，历史管理角色安装混乱，全部节点需要硬盘扩容。

迁移要求

HDFS数据不丢失
Hive元数据不丢失
无临时过渡服务器
不能影响用户计算使用
CDH5.11.0只能使用centos6.5-6.9x版本
大数据组件角色迁移
Cloudera Management Service服务迁移
服务器由物理机全部改造为虚拟机
主节点不迁移
角色迁移

2.迁移

整个迁移的逻辑是一台一台的节点处理，每个节点移除当前节点，重装系统，扩容磁盘，RAID修改为0，系统升级为centos7.6，并配置虚拟机，新节点扩容至虚拟机，新节点扩容安装看世上最全安装文档，整体迁移分为俩部分：

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

专注大数据的Lyer

关注关注

19
点赞
踩
17

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

大数据平台CDH环境迁移手册

zhouhy1101的专栏

02-27

1576

文章目录1 前言2 硬件检测与配置优化2.1 磁盘挂载2.1.1 磁盘大小低于2T2.1.2 磁盘大小大于2T2.2 内存查看2.3 cpu检查2.4 网卡检查2.5 ntp同步3 os参数优化4 CDH参数优化4.1 hdfs4.2 yarn5 平台迁移模拟5.1 停止5.2 修改配置5.3 启动cdh6 CDH平台扩容7 服务启停8 注意点9 现场遇到的问题与解决10 帮助脚本 1 前言最近接到了一个工作，将公司线上生产环境的6台安装了CDH以及大数据平台的服务器迁移到客户现场。服务器中有200+T

CDH迁移 | CDH/HDP迁移之路

shaoqigulang的博客

04-05

892

哪些用户需要迁移原社区版用户社区版不再更新 Cloudera(Cloudera 和Hortonworks 合并后)所有产品不再提供社区版，用户无法获取新的功能。社区版不再免费 2021年1月31日开始，所有Cloudera软件都需要有效的订阅，且订阅费昂贵（50个节点，一年订阅费50万美元）。原企业版用户企业版不再更新 Cloudera 和Hortonworks 合并后推出了新一代大数据平台 CDP，CDH 6和HDP 3将是CDH和HDP的最后企业版本，用户无法继续获取新的功能和

参与评论您还未登录，请先登录后发表或查看评论

0748-5.14.4-Kafka的扩容和缩容

Hadoop_SC的博客

03-01

2434

文档编写目的在Kafka集群资源使用已超出系统配置的资源时，或者有大量资源闲置造成资源浪费的时候，需要分别通过扩容Kafka和缩容Kafka来进行调整。本篇文章Fayson主要介绍如何进行Kafka的扩容和缩容，以及变更后的Kafka集群如何进行负载均衡的操作。测试环境： 1.Redhat7.2 2.采用root用户操作 3.CM为5.16.2，CDH为5.14.4 4.Kafka版本为0...

CDH/HDP迁移星环大数据产品TDH

06-02

1439

通过8种独立的存储引擎，支持业界主流的10种存储模型：关系型数据存储、宽表存储、搜索引擎、地理空间存储、图存储、键值存储、事件存储、时序存储、文本存储、对象存储。星环科技TDH已完成与主流信创生态厂商的适配互认工作，适配长城飞腾、华为泰山、浪潮等服务器，鲲鹏、飞腾CPU，麒麟、统信等OS，并有官方认证，支持基于ARM与X86服务器服务器混合部署并有落地案例，满足信创验收要求。TDH的多模架构，支持关系表、文本、时空地理、图数据、文档、时序等在内的10种数据模型；整个易用性、开发效率和运行效率都提高很多。

CDH/HDP迁移之路

Transwarp

04-02

3551

图片哪些用户需要迁移图片原社区版用户社区版不再更新 Cloudera(Cloudera 和Hortonworks 合并后)所有产品不再提供社区版，用户无法获取新的功能。社区版不再免费 2021年1月31日开始，所有Cloudera软件都需要有效的订阅，且订阅费昂贵（50个节点，一年订阅费50万美元）。原企业版用户企业版不再更新 Cloudera 和Hortonworks 合并后推出了新一代大数据平台 CDP，CDH 6和HDP 3将是CDH和HDP的最后企业版本，..

kudu集群数据节点(tserver)扩容(缩容)

zhang5324496的博客

11-17

1078

kudu的数据节点数量变化, 扩容，缩容

Doris节点扩容及数据表

weixin_45012397的博客

05-26

1580

表中的列按照是否设置了 AggregationType，分为 Key（维度列）和 Value（指标列），没有设置 AggregationType 的称为 Key，设置了 AggregationType 的称为 Value。该模型本质上是聚合模型的一个特例，也是一种简化的表结构表示方式。查询结果后发现，插入的数据全部会被保留，即使两条数据一模一样，也会保留，正常可以操作用户行为日志数据这种。查看数据的时候发现，数据只剩下6条了，就是因为再key相同的时候，将后面的结果聚合了。Row 即用户的一行数据。

Linux日常case: /usr 目录扩容

weixin_34341229的博客

08-19

1758

安装 Lab平台，CDH5安装失败，查看/var/log/ 发现/usr目录太小。[root@masterusr]#cat/var/log/cloudera-manager-installer/3.install-cloudera-manager-server.log TransactionCheckError: installingpackageclo...

Hadoop 教程 - Hadoop调优之HDFS集群扩容及缩容

qq_33240556的博客

06-25

324

在Hadoop生态系统中，HDFS（Hadoop Distributed File System）的集群扩容和缩容是维护和优化集群资源的重要操作。

工厂模式的介绍及实现

户伟伟的博客

09-25

142

工厂模式（Factory Pattern）是一种创建型设计模式，提供了一种创建对象的接口，而无需显式指定对象的具体类。在这种模式中，我们通过定义一个工厂类，专门负责生产各种类型的对象，这样我们可以避免直接在代码中实例化具体类，使代码更具扩展性、灵活性和维护性。解耦：客户端代码与具体的类解耦，避免了对象创建逻辑的重复。简化对象创建：通过工厂统一管理对象的创建逻辑，使代码更清晰易懂。扩展性强：新增类时，只需在工厂中增加创建逻辑，而不必修改现有的业务代码。

java将word转pdf

紫月7575的博客

09-30

247

java将word转pdf

Spring Cloud全解析：服务调用之OpenFeign集成OkHttp

Lxn2zh的博客

09-30

300

HTTP连接需要进行TCP三次握手，是一个比较耗时的操作，一般我们不直接使用HttpURLConnection，而是使用HttpClient/okHttp等支持连接池的客户端工具，以Feign集成OkHttp为例。OpenFeign本质是HTTP来进行服务调用的，也就是需要集成一个Http客户端。默认是HttpURLConnection方式，也就是jdk中提供的最原始的那个。要开启OkHttp ,还需要在YML 中添加开启配置项，默认是关闭的。使用的是Client接口来进行请求的。

「Java开发指南」如何用MyEclipse为iPhone搭建Spring应用程序？

需要界面开发、IDE工具研发中文教程资料的小伙伴，记得私信我~

09-30

383

本教程将介绍如何用MyEclipse为iPhone搭建Spring应用程序，欢迎下载最新版IDE体验！

JPA+Thymeleaf增删改查

y050505的博客

09-25

492

在使用JPA（Java Persistence API）和Thymeleaf作为模板引擎进行Web开发时，实现增删改查（CRUD）操作是一个常见的需求。下面，我将简要介绍如何使用Spring Boot框架结合JPA和Thymeleaf来实现这一功能。

【开源免费】基于SpringBoot+Vue.JS校园资料分享平台（JAVA毕业设计）

customer08的博客

09-30

829

校园资料分享平台是一个B/S模式系统，采用Spring Boot框架作为开发技术，MYSQL数据库设计开发，充分保证系统的稳定性。系统具有界面清晰、操作简单，功能齐全的特点，使得校园资料分享平台管理工作系统化、规范化。

进程管理工具：非daemon进程管理工具supervisor

happy_king_zi的博客

09-29

1001

supervisor是一个 Client/Server模式的系统，允许用户在类unix操作系统上监视和控制多个进程，或者可以说是多个程序。supervisor与launchd，daemontools，runit等程序有着相同的功能，与其中某些程序不同的是，它并不作为“id 为 1的进程”而替代init。相反，它用于控制应用程序，像启动其它程序一样，通俗理解就是，把Supervisor服务管理的进程程序，它们作为supervisor的子进程来运行，而supervisor是父进程。

【RocketMQ】RocketMQ应用难点

最新发布

记录一名在读研究生的学习笔记、感悟、开发产物

09-30

542

本文探讨了RocketMQ中消息重复消费的问题及其解决方案，尤其是在CLUSTERING模式下的扩容影响。文章分析了重复消费的原因，如广播模式、负载均衡模式下的多consumerGroup消费、消费者组内的动态变化及网络延迟等，并提出了利用唯一标识进行去重的方法。此外，还讨论了如何选择合适的存储机制以高效处理大量消息标识，如HashMap、MySQL、Redis以及推荐的布隆过滤器等方案。对于防止消息堆积与确保消息不丢失，也给出了相应的策略和技术措施。

C语言中的日志机制：打造全面强大的日志系统

极客代码

09-30

328

构建一个全面强大的日志机制对于软件开发至关重要。通过上述示例，你应该已经了解了如何在C语言中实现日志记录的不同方面。这种能力对于调试程序、监控应用程序状态和维护系统的稳定性非常有帮助。在软件开发中，良好的日志记录机制对于调试、监控程序状态和维护系统的稳定性至关重要。本文将介绍如何在C语言中构建一个全面强大的日志系统，并提供一些示例代码。实现日志文件的自动旋转，以便管理日志文件的大小。定义日志级别的宏，便于管理和调整日志输出。使用定义好的日志宏来记录日志。实现日志配置的读取和设置。1. 日志的基本概念。

CDH磁盘挂载及磁盘扩容

09-18

CDH磁盘挂载及磁盘扩容可以通过以下步骤完成： 1. 确认硬盘已经添加到服务器上，并且硬件已经被识别。可以使用命令 `fdisk -l` 查看服务器上的硬盘信息。 2. 对于新添加的硬盘，需要进行分区和格式化。可以使用命令 `fdisk /dev/sdX`（X为新添加的硬盘标识，如sdb、sdc等）进入分区工具，按照提示进行分区操作。完成分区后，使用命令 `mkfs.ext4 /dev/sdX1`（X为新添加的硬盘标识，1为第一个分区）格式化分区。 3. 创建一个目录作为挂载点，例如 `/data`，可以使用命令 `mkdir /data` 创建。 4. 使用命令 `mount /dev/sdX1 /data` 将新添加的硬盘挂载到 `/data` 目录下。如果需要在系统启动时自动挂载，可以在 `/etc/fstab` 文件中添加一行 `/dev/sdX1 /data ext4 defaults 0 0`。 5. 确认挂载成功，可以使用命令 `df -h` 查看挂载点 `/data` 的文件系统。如果需要扩容已挂载的磁盘，可以按照以下步骤进行： 1. 确认硬盘已经添加到服务器上，并且硬件已经被识别。 2. 使用命令 `parted /dev/sdX`（X为已挂载的硬盘标识，如sdb、sdc等）进入分区工具。 3. 输入 `resizepart 1` 命令来调整已挂载磁盘的分区大小。 4. 输入 `quit` 退出分区工具。 5. 使用命令 `resize2fs /dev/sdX1`（X为已挂载的硬盘标识，1为第一个分区）来调整文件系统大小。完成上述步骤后，已挂载磁盘的容量就会扩大。