HDFS block块的副本存放策略

最新推荐文章于 2021-05-31 23:10:17 发布
最新推荐文章于 2021-05-31 23:10:17 发布
阅读量1.1k 收藏
点赞数
分类专栏： hadoop 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tuiyidelongdidi/article/details/84552730
版权
HDFS默认每个数据块有3个副本，遵循默认的机架感知策略。第一个副本通常放在上传文件的节点，或者集群中随机选择的空闲节点。第二个副本放在同一机架的另一节点，第三个副本放在远程机架的节点。此策略兼顾数据读取速度和可靠性，确保数据本地性和跨机架冗余。
摘要由CSDN通过智能技术生成

转自：http://www.cnblogs.com/sparkwoo/archive/2013/05/14/3077440.html

并作一些修改，以更容易理解副本存放策略

 

 

系统默认为每一个数据块存放3个副本，按照布署在NameNode上的默认机架感知策略存放数据块副本。其中

最低0.47元/天 解锁文章
tuiyidelongdidi
关注
专栏目录
hdfs的架构，文件副本机制及block块存储
qq_37283909的博客
02-23 827
hdfs的基础架构 1、 NameNode是一个中心服务器，单一节点（简化系统的设计和实现），负责管理文件系统的名字空间（namespace）以及客户端对文件的访问 2、 文件操作，namenode是负责文件元数据的操作，datanode负责处理文件内容的读写请求，跟文件内容相关的数据流不经过Namenode，只询问它跟哪个dataNode联系，否则NameNode会成为系统的瓶颈 3、 副本存...
Block的副本放置策略
墨玉浮白的博客
06-11 1343
服务器有：塔式、机架、刀片3种。 Block块的N个副本的放置策略： 第一个副本放置：如果在集群内上传1T文件，就放置在该DN上。如果在集群外上传，则找一个磁盘空间足够、CPU够用的节点。 第二个副本：放置在和副本1不同机架的节点上；放置整个机架挂掉 第三个副本：放在副本2相同机架的节点 更多副本：随机机架 放置策略如下图： ...
Block块的存储策略是什么？HDFS副本放置策略是什么？
Shockang的博客
05-31 1万+
写在前面 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和文献引用请见1000个问题搞定大数据技术体系 解答 副本放置策略需要考虑到哪些因素？ 数据块副本放置策略直接决定了每个数据块多个副本存放节点的选择，一个良好的副本放置策略能权衡写性能和可靠性两个因素，在保证写性能较优的情况下，尽可能提高数据的可靠性。 副本放置策略与集群物理拓扑结构是直接相关的，一个集群由多个机架构成，每个机架由16~64个物理节点组成
hadoop2.0集群balancer
qq_36470475的博客
04-14 251
start-balancer.sh -threshold 5 -threshold 默认设置：10，参数取值范围：0-100，参数含义：判断集群是否平衡的目标参数，每一个 datanode 存储使用率和集群总存储使用率的差值都应该小于这个阀值 ，理论上，该参数设置的越小，整个集群就越平衡，但是在线上环境中，hadoop集群在进行balance时，还在并发的进行数据的写入和删除，所以有可能无法到达设...
hdfs深入：03、hdfs的架构以及副本机制和block块存储
dengmanzhou3124的博客
05-29 415
HDFS分布式文件系统设计目标 1、 硬件错误 由于集群很多时候由数量众多的廉价机组成，使得硬件错误成为常态 2、 数据流访问 所有应用以流的方式访问数据，设置之初便是为了用于批量的处理数据，而不是低延时的实时交互处理 3、 大数据集 典型的HDFS集群上面的一个文件是以G或者T数量级的，支持一个集群当中的文...
hdfs中block的使用情况，副本所在情况等等
weixin_33922670的博客
11-30 158
hadoop fsck /user/hive/warehouse/dataplat.db/hive_datacppa2xsourcendchinaraw/partitiondate=2016-11-29/info.log2016-11-29 -files -blocks -locations 　　
HDFS副本放置策略
热门推荐
走在前往架构师的路上
04-19 3万+
前言 前一篇文章中刚刚分析完HDFS的异构存储以及相关的存储类型选择策略,浏览量还是不少的,说明大家对于HDFS的异构存储方面的功能还是很感兴趣的.但是其实一个文件Block块从最初的产生到最后的落盘,存储类型选择策略只是其中1步,因为存储类型选择策略只是帮你先筛选了一些符合存储类型要求的存储节点目录位置列表,通过这些候选列表,你还需要做进一步的筛选,这就是本文所准备阐述的另外一个主题,HD
hadoop 文件存放策略_HDFS的副本存放策略（全）
weixin_40003046的博客
01-13 1319
HDFS作为Hadoop中的一个分布式文件系统，而且是专门为它的MapReduce设计，所以HDFS除了必须满足自己作为分布式文件系统的高可靠性外，还必须为MapReduce提供高效的读写性能，那么HDFS是如何做到这些的呢？首先，HDFS将每一个文件的数据进行分块存储，同时每一个数据块又保存有多个副本，这些数据块副本分布在不同的机器节点上，这种数据分块存储+副本的策略是HDFS保证可靠性和性能的...
大数据-HDFS 文件副本和 Block 块存储
逍遥云恋
12-23 1117
1.4. HDFS 文件副本和 Block 块存储 所有的文件都是以 block 块的方式存放在 HDFS 文件系统当中, 在 Hadoop1当中, 文件的 block 块默认大小是 64M, hadoop2 当中, 文件的 block块大小默认是 128M, block 块的大小可以通过 hdfs-site.xml当中的配置文件进行指定 <property> &lt...
HDFS 副本存放磁盘选择策略详解
圈圈任
04-23 1892
在 HDFS 中，DataNode 将数据块存储到本地文件系统目录中，具体的目录可以通过配置 hdfs-site.xml 里面的 dfs.datanode.data.dir 参数。在典型的安装配置中，一般都会配置多个目录，并且把这些目录分别配置到不同的设备上，比如分别配置到不同的HDD（HDD的全称是Hard Disk Drive）和SSD（全称Solid State Drives，就是我们熟悉的...
hadoop 文件存放策略_【知识讲解篇-15】HDFS的数据副本存放磁盘选择策略
weixin_39755218的博客
12-23 424
dfs.datanode.data.dir 配置数据存放的路径在 HDFS 中，DataNode 将数据块存储到本地文件系统目录中，具体的目录可以通过配置 hdfs-site.xml 里面的 dfs.datanode.data.dir 参数。在典型的安装配置中，一般都会配置多个目录，并且把这些目录分别配置到不同的设备上，比如分别配置到不同的HDD(HDD的全称是Hard Disk Drive)和S...
hadoop中block副本的放置策略
weixin_30405421的博客
09-17 202
下面的这种是针对于塔式服务器的副本的放置策略 转载于:https://www.cnblogs.com/isme-zjh/p/11533494.html
hadoop block
sun's blog
01-08 297
1、Block,文件块：最基本的存储单位。文件被切成多个Block，存在dataNode之上,dataNode上会有多个不同Block，相同Block存在于多个dataNode上。 对于文件内容而言，一个文件的长度大小是size，那么从文件的０偏移开始，按照固定的大小，顺序对文件进行划分并编号，划分好的每一个块称一个Block。HDFS默认Block大小是128MB，以一个256MB文件，共...
hadoop之hdfs读写流程详解与block副本放置策略
君永夜
02-25 947
目录   1.hdfs写流程          1.1流程图 ​1.2流程详解： 2.hdfs读流程 2.1流程图 2.2流程详解： 3.block副本放置策略 1.hdfs写流程 1.1流程图 1.2流程详解： 1）Client端调用DistributedFileSystem.create(filePath)方法，去与NN进行【RPC】通信，nn 会check该路径的文...
HDFS副本存放策略
xinganshenguang的博客
02-19 3603
第一个block副本放在和client所在的node里（如果是集群外提交，则随机挑选一台磁盘不太慢、CPU不太忙的节点上）。 第二个副本放置在与第一个节点不同的机架中的node中（随机选择）。 第三个副本和第二个在同一个机架，随机放在不同的node中。 如果还有更多的副本就随机放在集群的node里。 流水线复制 当客户端向 HDFS 文件写入数据的时候，一开始是写到本地临时文件中。
HDFS源码分析之数据块Block、副本Replica
weixin_34146805的博客
04-13 208
我们知道，HDFS中的文件是由数据块Block组成的，并且为了提高容错性，每个数据块Block都会在不同数据节点DataNode上有若干副本Replica。那么，什么是Block？什么又是Replica？ 首先，我们看下Block的定义，如下： /************************************...
HDFS的block块和副本数
阿顾的博客
07-31 3329
1 block块 HDFS官方默认的值为:128m 如下图，我们可以计算下 134217728 / 1024 = 131072k 131072 / 1024 = 128m 比方说一个文件135m，那么会用下面的计算方式 135 % 128 = 1 余 7 先对128取模，得出1，余数为7； 那么在HDFS系统会有2个块，1个块128m，1个块7m。 举个例子： 有一碗水135ml，一个拼字的规...
HDFS中数据副本的存放策略
沐雨金鳞
01-26 4717
Hadoop 0.17之前 副本一：同机架的不同节点 副本二：同机架的另一节点 副本三：不同机架的另一节点 其他副本：随机挑选 Hadoop 0.17之后 副本一：同Client的节点上 副本二：不同机架中的节点上 副本三：同第二个副本的机架中的另一个节点上 其他副本：随机挑选
深入解析Hadoop HDFS的读写机制
HDFS的副本策略保证了数据的安全性。默认情况下，每个Block都有三个副本，分布在不同的机架上，确保即使有节点故障，数据仍能被恢复。如果某个DataNode在写入过程中失败，DFSClient会自动切换到下一个可用的DataNode...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值