加速HDFS集群 RaidNode数据 退役的方法

已于 2023-03-13 11:28:12 修改
阅读量300 收藏
点赞数
分类专栏： HDFS 大数据 文章标签： hdfs hadoop 大数据
于 2023-03-13 11:25:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaoshazheng/article/details/129489349
版权

加速HDFS集群 RaidNode数据 退役的方法

加速集群退役的方法，结合以往的经验和当前的信息看，阻碍集群退役的block都是RaidNode数据。

减少退役的数据的中转量

1 增加每次退役的节点数 （一次退役100台节点运输的数据量要比二次退役50台节点的运输量大，有中间转移的消耗）

2 边退役边迁移，优先迁移raid数据（减少数量的总量）

针对RaidNode数据的block卡住

1 关闭raid，所有数据升三副本

2 暂时关闭 RaidNode的移动block功能，hdfs.raid.block.move.simulate来设置为true。

针对退役的瓶颈问题

目前看退役的瓶颈在DataNode端，目前是一次性添加若干节点，直到退役完。可以修改在NameNode端维持一定数量的DataNode，退役一台DataNode就在NameNode端添加一台，脚本可以参考如下。

加速HDFS集群 RaidNode数据 退役的方法

[外链图片在这里插入图片描述

become__better
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop - 节点的服役和退役（HDFS）
走走停停的专栏
09-27 527
1. 首先需要克隆一台主机 现在我这里已经有五台虚拟机，要克隆的目标主机为CentOS7-1810_04： 启动集群后webUI如下： 把要克隆的目标虚拟机关机，在VMware上选中目标主机 -> 右键 -> 管理 -> 克隆： 然后下一步，选择克隆自：虚拟机中的当前状态： 继续下一步，克隆方法选择：创建完整克隆： 继续下一步，修改虚拟机名称和位置： 然后选择完成...
一种跨HDFS集群的文件资源分布式高效存储方法
01-12
针对传统文件资源存储方法存在存储效率低的问题，提出了一种跨HDFS集群的文件资源分布式高效存储方法。依据HDFS集群文件资源特征及存储原理，分析资源分布式存储的逻辑关系，保证文件资源存储环境安全。依据标准...
HDFS：从RAID到HDFS，看大数据存储王者的诞生
程序员不鸣的博客
08-15 714
从RAID到HDFS：垂直拓展定有终点，但水平拓展没有尽头。
Hadoop硬件合理配置及raid方面的调研
qq_32656561的博客
12-08 3032
文章目录前言一、Hadoop硬件合理配置二、Hadoo架构配置 三、raid方面 前言 最近公司在Hadoop服务器未来规划，所以调研了各个方面，有点杂乱，这里记录一下。
全网最新最全的 HDFS 文件纠删码技术分析
热门推荐
Shockang的博客
06-03 2万+
前言 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系 正文 概述 HDFS 为了提高可靠性，采用了“暴力”的三副本技术，这就带来了存储成本的问题。业界一直在探索如何降低存储成本。 传统的 RAID 技术就被很自然地借鉴过来与 HDFS 相结合。 通过结合 RAID 的 纠删码（Erasuredcode）技术，存储成本从原来的 HDFS 默认的3倍降低到1.4倍。
hdfs集群节点的服役和退役（上线 下线）
fantasticqiang的博客
06-02 4511
问题描述我们在维护hadoop集群的时候，需要动态增加和删除datanode或者yarn管理节点，而不是停掉整个集群。首先，hadoop配置文件目录下的hdfs-site.xml中维护这集群“白名单”和“黑名单”两个文件，如果没有的话需要在配置文件中添加这两个属性。<property>   <!-- 白名单信息--> <name>dfs.hosts</...
DataNode新节点服役与旧节点退役
weixin_46192593的博客
07-14 404
大数据相关博客的目录 在阅读此篇之前，应当先阅读基于CentOS7镜像和数据挂载卷实现Docker搭建Hadoop集群 服役与退役 Hadoop集群中管理员经常需要向集群中添加节点，或从集群中移除节点。 例如为了扩大存储容量或其他业务需求，需要上线一个DataNode的新节点，这被称为服役(新节点上线)。 相反的，在某些节点出现反常(如故障率过高或者性能过于低下)或其他业务需求，...
DCMM28个能力域学习心得（数据退役能力等级深刻理解）
weixin_47458576的博客
02-22 6932
6、数据战略： 1、数据战略规划 概述：数据战略规划是在所有利益相关者之间达成共识的结果。 过程描述：识别利益相关者，明确利益相关者的需求；数据战略评估，数据战略制定{愿景陈述，规划范围，管理模型…} 过程目标：建立、维护数据管理战略，识别利益相关者，分析数据管理工作优先权，制定、监控和评估后续计划。 2、数据战略实施 概述：组织完成数据战略规划并逐渐实现职能框架的过程。 过程描述：评估准则，现状评估，评估差距，实施路径，保障计划，任务实施，过程监控 过程目标：检査落实情况.并定期评估；分析差距，明确方向，
HDFS黑名单退役服务器
zhongmingyu
03-13 1434
黑名单：表示在黑名单的主机IP地址不可以，用来存储数据。企业中：配置黑名单，用来退役服务器。添加如下主机名称（要退役的节点）
Hadoop大数据原理(2) - 分布式文件系统HDFS
小爱玄策
05-12 475
在计算机领域，提高算力和数据存储能力有2种思路，一种是升级计算机，也就是我们说的垂直伸缩，包括升级CPU、内存、磁盘等将1台计算机变得更强大，另外一种就是用分布式文件系统，称为水平伸缩，添加更多的计算机到系统中来提高算力。，互联网公司现在都水平伸缩的道路，这就是近十年引导技术潮流的分布式与大数据技术。实际上，将RADI的思想原理应用到分布式集群中，就形成了Hadoop分布式文件系统HDFS的架构思想。
hdfs集群间数据交换.zip
01-04
hdfs集群间数据交换
HDFS集群搭建
07-02
HDFS能 够提供对数据的可扩展访问，通过简单地往集群里添加节点就可以解决大量客户端同时访问的问题。HDFS支持传统的层次文件组织结构，同现 有的一些文件系 统类似，如可以对文件进行创建、删除、重命名等操作。
HDFS读取和写入数据简介
01-07
HDFS 的文件访问机制为流式访问机制，即通过 API 打开文件的某个数据块之后，可以顺序读取或者写入某个文件。由于 HDFS 中存在多个角色，且对应的应用场景主要为一次写入、多次读取的场景，因此其读和写的方式有较大...
hdfs-元数据测试
10-23
本文重在探索hdfs分布式文件系统的元数据合并及更新原理。
C# wpf 实现任意控件（包括窗口）更多调整大小功能
codeofcc的博客
01-15 2734
上一章我们已经实现了任意控件统一的拖动调整功能，能够方便的给任意控件设置拖动调整大小。开发过程中发现还是有些功能可以继续拓展的，比如cs代码触发拖动、自定义模板、交叉拖动、限制拖动范围等功能。有功能实现起来不算太容易，却很有实用价值。
【Hadoop】-HDFS的存储原理[4]
weixin_63106307的博客
04-20 1365
HDFS的存储原理是将大文件切分成固定大小的数据块，并在集群中的不同节点上存储数据块的，以提高数据的可靠性和性能。同时，HDFS采用流式的数据读写方式，减少了寻址的开销，提高了数据的传输效率。
【Hadoop】-Hive部署[12]
最新发布
weixin_63106307的博客
04-23 1141
Hive ThriftServer方式（不可直接写SQL，需要外部客户端链接使用）： bin/hive --service hiveserver2。后台启动：nohup bin/hive --service metastore >> logs/metastore.log 2>&1 &后台启动：nohup bin/hive --service metastore >> logs/metastore.log 2>&1 &支持，Hive的配置已经完成，现在在启动Hive前，需要先初始化Hive所需的元数据库。
前期Hadoop学习总结
2301_77836489的博客
04-23 1157
前期Hadoop学习总结
kafka拉取hdfs集群数据到kafka topic的操作
05-31
要将HDFS集群中的数据拉取到Kafka topic中，可以使用Kafka Connect来实现。Kafka Connect是Kafka的一个开源工具，用于连接Kafka和其他数据源，包括HDFS、JDBC、Elasticsearch等。 以下是将HDFS中的数据拉取到Kafka topic的操作步骤： 1. 安装Kafka Connect：可以从Kafka官网上下载和安装Kafka Connect。安装完成后，需要配置Kafka Connect的配置文件，包括Kafka集群的地址、连接器的配置等。 2. 安装HDFS连接器：Kafka Connect提供了一个HDFS连接器，用于连接HDFS和Kafka。可以从Kafka官网上下载和安装HDFS连接器，并将其添加到Kafka Connect的插件目录中。 3. 配置HDFS连接器：需要在Kafka Connect的配置文件中配置HDFS连接器的参数，包括HDFS集群的地址、HDFS文件的路径、Kafka topic的名称等。 4. 启动Kafka Connect：启动Kafka Connect后，它会自动加载HDFS连接器，并根据配置的参数从HDFS中读取数据，并将数据发送到指定的Kafka topic中。 下面是一个使用HDFS连接器将HDFS中的数据拉取到Kafka topic的配置示例： ```ini # Kafka Connect的配置文件 bootstrap.servers=localhost:9092 # HDFS连接器的配置 key.converter=org.apache.kafka.connect.storage.StringConverter value.converter=org.apache.kafka.connect.storage.StringConverter key.converter.schemas.enable=false value.converter.schemas.enable=false connector.class=io.confluent.connect.hdfs.HdfsSinkConnector topics=hdfs-topic tasks.max=1 hdfs.url=hdfs://localhost:9000 flush.size=3 rotate.interval.ms=60000 logs.dir=/usr/local/kafka-connect/logs hadoop.home=/usr/local/hadoop format.class=io.confluent.connect.hdfs.parquet.ParquetFormat schema.compatibility=NONE ``` 在这个配置文件中，我们首先指定了Kafka集群的地址，然后配置了HDFS连接器的参数，包括数据的序列化器、Kafka topic的名称、HDFS集群的地址、HDFS文件的路径等。其中，flush.size和rotate.interval.ms参数用于控制数据的写入频率和文件的切换频率，logs.dir参数用于指定日志文件的存储路径，hadoop.home参数用于指定Hadoop的安装路径，format.class参数用于指定数据的格式（这里使用了Parquet格式），schema.compatibility参数用于指定数据的模式兼容性。 启动Kafka Connect后，它会自动加载HDFS连接器，并从HDFS中读取数据，并将数据发送到指定的Kafka topic中。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值