关于hadoop副本数大于节点数时的存储问题

最新推荐文章于 2022-04-21 09:20:35 发布
最新推荐文章于 2022-04-21 09:20:35 发布
阅读量418 收藏 2
点赞数 2
分类专栏： 杂记 文章标签： hadoop hdfs 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/skdtr/article/details/117231023
版权
本文通过测试探讨了在Hadoop集群中，当副本数设置超过节点数时的情况。测试步骤包括调整hdfs-site.xml配置，重启集群，上传文件并观察web界面。结果显示，尽管web端显示5个副本，实际副本数仅为3个。这表明，副本数大于节点数时，并不会在一个节点上存储多个副本，而是等待新增节点以达到设定的副本数。
摘要由CSDN通过智能技术生成

关于hadoop副本数大于节点数时的存储问题

测试

1.调整hdfs-site.xml文件的副本参数

副本数设置为5

副本数设置为5

2.重启hadoop集群 上传文件 web端查看信息

三个节点active

总共三个节点

web端显示有5个副本

web端

真的有五个吗？

3.查看实际副本数

使用指令 hdfs fsck /user/datas/emp.txt -files -blocks
结果如下：
在这里插入图片描述
可以发现 目标副本数为5但实际副本数为3

总结

副本数大于节点数时 并不会一个节点存多个副本 这样也没有意义 只会增加冗余 当添加新节点时会拷贝副本到新的节点上 最终达到设置的副本数

鱼多愚
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
Hadoop HA测试及动态添加节点和副本数
qq_41854797的博客
05-27 383
测试1、 将活跃的hadoop01进程杀死后，发现hadoop02状态被切换到avtive状态，集群正常工作； 测试2、 将hadoop01断电，hadoop02向hadoop01发送ssh kill -9 namenode进程，三十秒内无ssh相应，则执行shell脚本，其中无namenode工作。三十秒后集群正常工作； 测试3 进程中hadoop02为active，在namenode01上上传...
Hadoop分布式文件系统 (HDFS)
qq_39245001的博客
08-02 1202
Hadoop分布式文件系统 简介 ​ HDFS(Hadoop distribute file system) 是Hadoop核心组成，是分布式存储服务 ​ 分布式文件系统能够横跨多态计算机。在大数据时代有着广泛的应用前景，它们为存储和处理超大规模数据提供所需的扩展能力。 ​ HDFS是分布式文件系统的一种 概念 ​ HDFS通过统一的命名空间目录树 来定位文件 ​ 通过多态服务器联合实现其功能，集群中的服务器有各自的角色（分布式的本质是拆分，各司其职） 典型的 Master/Slave 【主从
hadoop副本数大于节点数的问题
黄佳俊的博客
04-21 1966
1.调整hdfs-site.xml文件的副本参数 副本数设置为5 2.重启hadoop集群 上传文件 web端查看信息 三个节点active web端显示有5个副本，真的有五个吗？ 3.查看实际副本数 使用指令 hdfs fsck /user/datas/emp.txt -files -blocks 结果如下：可以发现 目标副本数为5但实际副本数为3 总结 副本数大于节点数时 并不会一个节点存多个副本 这样也没有意义 只会增加冗余 当添加新节点时会拷贝副本到新的节点上 最终达到设置的副本数 ..
Hadoop集群节点扩展之后，更改HDFS数据副本数
大数据技术杂谈
07-11 3907
问题： 本人近期将Hadoop集群节点从3个扩展为8个之后扩展之后，更改HDFS数据副本数，之后HBase操作非常缓慢，查看日志信息一直有数据在移动。 解决方案： 由于数据副本数增加，在扩展完节点之后，在Hadoop主节点执行如下命令sbin/start-balancer.sh使各个节点数据负载均衡之后各数据节点数据一直在移动并复制增加数据副本数据，因此导致集群运行缓慢，因此建议此操作在非工
解决 HDFS副本数不足问题
Daphnis的博客
01-27 4749
1.现象 CDH界面 HDFS出现爆红项，查看详情发现是 副本数不足导致的，如下： HDFS和 CDH版本：2.6.0+cdh5.15.1+2822 2.分析 报错是很明确的：接近 99%的 hdfs块副本缺失。 默认情况下 hdfs的副本一般是3个，要求至少有3个 DataNode。出问题的集群是一个测试集群，之前一共有 3台机器，最近由于一台机器故障，现在集群只剩 2台机器了，问题应该就出在这里了。 明确一下问题的原因： ​ 集群现有的机器数量不满足 3个 DataNode的要求，故导致副本数不足。
hadoop学习手册
05-10
dfs.replication配置了文件块的副本数，一般不大于从机的个数。 Mapred-site.xml文件是MapReduce任务的配置文件，mapred.job.tracker配置了JobTracker的位置。 Yarn-env.sh文件配置了YARN框架的运行环境，内容包括...
基于Hadoop的海量数据存储平台设计与开发
04-24
本文提出并实现了基于Hadoop的海量数据存储平台，有效地解决了北部湾地区海洋科学数据存储和管理的问题。该平台不仅可以应用于海洋科学数据领域，还具有广泛的应用前景，可以扩展至其他需要处理大量非结构化或半结构...
Hadoop课程的课程作业，包含所需资源等
最新发布
12-20
1. 数据倾斜：当部分键的Map输出远大于其他键时，可能导致Reduce任务负载不均。解决方案包括优化数据分布、使用Combiner减少数据传输量或自定义分区策略。 2. 性能优化：包括调整Block大小、设置合理的Map/Reduce...
尚硅谷大数据技术之Hadoop
11-02
Hadoop是Apache软件基金会开发的一个分布式计算项目，它为大规模数据集（大于1TB）提供了高容错性的分布式存储和计算能力。本课程通过笔记和代码实例，帮助学习者理解并掌握Hadoop的核心概念和技术。 在Hadoop的...
最新Hadoop集群安装教程.pdf
08-11
在本教程中，我们将深入探讨如何安装和配置一个基于Hadoop的分布式集群，该集群将...确保在整个过程中备份重要配置文件，以便在出现问题时恢复或排查。同时，了解Hadoop的工作原理和最佳实践是确保集群稳定运行的关键。
hadoop开发
11-30
4. 性能优化：合理设置HDFS的副本数量、Block大小，以及MapReduce的参数（如Map任务数、Reduce任务数），可以提升系统性能。 5. 容错性：Hadoop具有自动容错机制，但需要定期检查和更新配置，以确保数据安全。 6. ...
Hadoop（HDFS文件系统）命令操作
03-19
- **-setrep [-R] [-w] <rep> **：更改文件或目录的副本数。 - **-stat [format] **：显示文件的状态信息。 - **-tail [-f] **：显示文件的最后几行。 - **-test -[defsz] **：测试文件或目录的状态。 - **-text [-...
Hadoop学习总结之一：HDFS简介.doc
06-06
总结来说，HDFS是Hadoop分布式计算框架的核心组件，提供高容错、高吞吐量的数据存储服务。通过数据块、NameNode、DataNode以及Secondary NameNode等机制，实现了文件的分布式存储和高效访问。数据流的过程涉及读文件...
Hadoop：开启通向云计算的捷径(刘鹏).pdf
10-21
Hadoop的另一个重要组成部分是MapReduce，它是一个编程模型，用于大规模数据集（大于1TB）的并行运算。 云计算是一种通过互联网提供动态可伸缩的虚拟化的资源的计算模式。这种模式基于服务提供，资源的使用者无需...
Lecture4_Hadoop
07-17
Hadoop是一个能够对大量数据进行分布式处理的软件框架，旨在解决大规模数据集在分布式环境下存储与处理的问题。 #### 二、Hadoop核心组件 Hadoop的核心组件主要包括两大部分：Hadoop Distributed File System (HDFS...
HDFS中文件的副本数量设置
weixin_44589713的博客
09-25 3812
setrep：设置HDFS中文件的副本数量 设置副本数前 设置副本数后 在对应的路径设置所需副本数，如下 hadoop fs -setrep 6 /TFBOYS/KarryWang/xiaopangxie.txt 这里设置的副本数只是记录在NameNode的元数据中，是否真的会有这么多副本，还得看DataNode的数量。因为目前只有3台设备，最多也就3个副本，只有节点数的增加到6台时，副本数才能达到6。 ...
HDFS的副本数量配置
热门推荐
王义凯 的博客
11-01 2万+
众所周知，hdfs的默认副本数量是3个，配置在/etc/hadoop/conf/hdfs-site.xml中。 如果想修改全局副本数量，只需要修改上面的hdfs-site.xml中的配置然后重启hdfs即可，修改完成后： 1. 若hdfs中副本数量没有达到配置的数量则会自动进行备份，此时datanode节点之间会大量复制文件，集群性能会暂时受到影响。 2. 若hdfs中副本数量多于配置的数量，比如原来是3，修改为2，则已存在的副本不会被删除，只会对后续新增的文件使用新的配置。如果希望修改配置后，原有多出
HDFS详解之块大小和副本数
Jaserok的博客
10-15 5919
1.HDFS HDFS : 伪分布式（学习） NN DN SNN sbin/start-dfs.sh(开启hdfs使用的脚本) bin/hdfs dfs -ls (输入命令加前缀bin/hdfs dfs） 2.block(块） dfs.blocksize ： 134217728（字节） / 128M 官网默认一个块的大小128M *举例理解块 1个文件 130M，默认一个块的大小128M ...
Hadoop集群动态新增节点和故障转移配置
Hadoop动态新增节点的步骤可以分为三步：单独启动节点服务、解决NameNode自动切换问题和动态增加节点。 2.1 单独启动节点服务 为了启动Hadoop节点服务，需要使用hadoop-daemon.sh和yarn-daemon.sh脚本。其中，...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值