hdfs的切分策略

最新推荐文章于 2024-10-19 20:54:42 发布
最新推荐文章于 2024-10-19 20:54:42 发布
阅读量952 收藏 3
点赞数 1
分类专栏： 大数据 文章标签： hdfs hadoop big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_50691399/article/details/121887638
版权
本文详细介绍了HDFS（Hadoop Distributed File System）的分布式存储切分机制，包括128M的默认切分条件和10%的溢出机制，以及如何通过block ID识别相关块。数据切分后，存储位置根据节点资源动态分配，并由NameNode保存元数据信息，DataNodes实际存储数据。即使HDFS服务关闭，元数据也会持久化到磁盘，确保数据安全。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

一：分布式存储切分机制

二：怎么识别切分后哪几个block块是一起的

三：切分后存储位置

四：数据放到hdfs时会进行block切分 无论大小

五：切分块信息的存储

一：分布式存储切分机制

1：128M切分条件

2：溢出机制 10% （128+128*10%）

防止浪费资源 避免小文件过多

例如：132 大于128但是没有大于140所以不会切分

145 大于128 且大于140 所以切分 两个块 一个是128 一个是17

二：怎么识别切分后哪几个block块是一起的

id是block连接的标识（保存在namenode中）

三：切分后存储位置

切分后存储在哪个节点是不固定的。根据每个节点所存储的文件和资源来存储

存储位置随机，当节点资源足够时根据资源谁资源大存储在谁那里

四：数据放到hdfs时会进行block切分 无论大小

block切分过程是默认的

切分时会产生切分信息 切分块数

master是用来保存切分信息 node1和node2来存储数据

在元数据上修改不会影响数据不会改变 hdfs上的数据不能直接修改

五：切分块信息的存储

namenode是主节点 元数据信息

datanode是存储block块存储数据 数据节点

元数据：针对与hdfs的操作

hdfs的目录结构在内存中

管理hdfs的目录在内存中

hdfs的服务关了，内存中的数据会丢失，为了避免数据丢失会把内存中的数据保存在磁盘中

HDFS
xyh1re的博客
08-17 883
数据块 hdfs上的文件被切分为多个块（block），每个block的大小默认为128M，小于一个block大小的文件不会占据整个块的空间，每个block会保存多个副本以实现容错，默认副本数为3，对特殊文件可以在上传时指定副本的个数：hadoop fs -D dfs.replication=4 -put  1.txt   /tmp/。 副本的存放机制：第1个副本存放在运行客户端的节点上，第2个...
HDFS中block块的放置策略、HDFS读写文件的流程、HDFS常用的命令
weixin_43681796的博客
03-31 1163
6、Block放置策略 – 第一个副本：集群内部提交放置在上传文件的DN；如果是集群外提交，则随机挑选一台磁盘不太满，CPU不太忙的节点。 – 第二个副本：放置在于第一个副本不同的机架的节点上。 – 第三个副本：与第二个副本相同机架的不同节点。 – 更多副本：随机节点，不重复的 7、请描述一下HDFS的读、写流程（具体说一下ack） 读的流程 1.首先调用file...
HDFS上大文件如何切分？
热门推荐
Shockang的博客
05-27 1万+
写在前面 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和文献引用请见1000个问题搞定大数据技术体系 解答 为了便于存储和管理,HDFS上的文件都被切割成固定大小的数据块, HDFS上所有的文件都被切成固定大小128MB的数据块(block),只有最后一个数据块的大小是变化的。 而当新的数据写入使得数据块大小超过系统设定值之后,新的数据块会产生。而系统的默认值是128MB。 一个 513MB 的原始文件是
HDFS块分配策略
breakout_alex的博客
07-24 1229
HDFS块分配策略 注：上图提到的远程机架与本地机架是相对于找到的第一个副本的目标节点来说。 一个客户端a机器发起请求分配块请求，NN接收到请求后，执行如下块分配流程： 1）如果a不是一个DataNode，则在集群范围内随机选择一个节点作为目标节点，否则执行下面的2,3步骤； 2）判断a机器是否符合存储数据块的目标节点，如果符合，第一个块副本分配完毕； 3）如果a机器不符合作为目标节点，则在于与a机器同机架范围内寻找，如果找到目标节点，第一个块副本分配完毕； 4）如果在同一个机架内...
简介hdfs中文件切块
weixin_47699191的博客
04-01 2623
hadoop hdfs 存储一个大文件,会切分成数据块128M一个. 是逻辑切块 比如文件278.16 MB 上传到hdfs中他就会被切块,Hadoop 2.x 默认128M为一个文件块 这是切分成了3个文件块block0 , block1, block2 block0的信息 block id, block pool id, size大小:134217728 单位为byte = 128M 而且有三个副本在 存在三个节点上 节点:wxt01 wxt02 wxt03 block1信息 也是128
hadoop的HDFS文件存储
weixin_34174105的博客
04-22 256
1：什么是HDFS? HDFS适合做： 存储大文件。上G、T甚至P。 一次写入，多次读取。并且每次作业都要读取大部分的数据。 搭建在普通商业机群上就可以了。虽然会经常宕机，但HDFS有良好的容错机制。 HDFS不适合做： 实时数据获取。如果有这个需求可以用HBase。 很多小文件。因为namenode要存储HDFS的metadata（比如目录的树状结构，每个文件的文件...
定制化HDFS副本策略：业务场景特化解决方案大公开
![定制化HDFS副本策略：业务场景特化解决方案大公开]...本章将简要概述HDFS副本策略的基本概念和重要性，为接下来章节深入探讨HDFS副本机制的细节
【HDFS存储策略优化】：跨节点数据迁移效率的存储规划
Hadoop分布式文件系统（HDFS）是大数据存储的核心组件，其存储策略对于保证数据可靠性、可用性和性能至关重要。在本章节中，我们将对HDFS的存储策略进行初步的探讨，介绍其背景和基本概念。 ## 1.1 HDFS存储策略的...
【HDFS运维策略】：日常运维中的增量同步最佳实践指南
[【HDFS运维策略】：日常运维中的增量同步最佳实践指南](https://www.interviewbit.com/blog/wp-content/uploads/2022/06/HDFS-Architecture-1024x550.png) # 1. HDFS概述与增量同步基础 Hadoop分布式文件系统...
实验项目 实战 HDFS 实验报告
04-18
HDFS采用分块存储方式，大文件会被切分成多个数据块，并在多台DataNode上冗余存储，通常每个块都有多个副本，以提高容错性和可用性。数据读取时，HDFS会选择离客户端最近或者网络延迟最低的DataNode提供服务。 三、...
关于hdfs分片和分块
流的博客
01-15 6840
1.分块 从2.7.3版本开始，block size由64 MB变成了128 MB的。 在分布式的HDFS集群上，Hadoop系统保证一个块存储在一个datanode上。 HDFS的namenode只存储整个文件系统的元数据镜像，这个镜像由配置dfs.name.dir指定，datanode则存有文件的metainfo和具体的分块，存储路径由dfs.data.dir指定。 2.分片 由InputFo...
Hdf的块分配策略
lzf的博客
05-06 813
HDFS块分配策略 注：上图提到的远程机架与本地机架是相对于找到的第一个副本的目标节点来说。 一个客户端a机器发起请求分配块请求，NN接收到请求后，执行如下块分配流程： 1）如果a不是一个DataNode，则在集群范围内随机选择一个节点作为目标节点，否则执行下面的2,3步骤； 2）判断a机器是否符合存储数据块的目标节点，如果符合，第一个块副本分配完毕； 3）如果a机器不符合作为目标节点，则在于与a机器同机架范围内寻找，如果找到目标节点，第一个块副本分配完毕； 4）如果在同一个机架...
10、Hadoop切片机制
u010502101的博客
03-31 4274
一个超大文件在HDFS上存储时，是以多个Block存储在不同的节点上，比如一个1G的文件，HDFS默认一个Block为128M，那么1G的文件分成8个Block存储在集群中8个节点上。 Hadoop在map阶段处理上述1G的大文件时分成几个MapTask进行处理呢？ ...
Hadoop 之 文件切分算法
Andrew的成长之路
02-02 6934
文件切分算法主要用于确定 InputSplit 的个数，以及每个 InputSplit 对应的数据段。FileInputFormat 以文件为单位切分生成 InputSplit。对于新旧 MapReduce 有各自确定 InputSplit 大小的计算公式。在旧方法中，由以下三个属性值确定其对应的 InputSplit 的个数： 1. goalSize：根据用户期望的 InputSplit 数目计
0.HDFS分布式文件系统
一碗机智的糖浆的博客
02-06 2259
HDFS分布式文件系统 一、课前准备 安装VMware15虚拟化软件 安装CentOS 7虚拟机3个 安装3节点的hadoop2.x集群 某台虚拟机节点安装IDEA（“以上参考文档”） 二、课堂主题 本堂课主要围绕HDFS进行讲解。主要包括三方面 架构原理 核心概念 HDFS命令行 HDFS编程 三、课堂目标 理解分布式思想 理解并描述HDFS工作原理 理解HDFS容错机制 会搭建高可用集群 理解HDFS如何解决大量小文件存储问题 掌握如何使用java api操作HDFS 四、知识要点 1.
Hadoop之分布式文件存储系统Hdfs
qq_41700030的博客
08-23 705
简单了解一下Hadoop的Hdfs(分布式文件存储系统) 1、Hdfs将一个很大的数据分割成很多小的数据块（Blocks）存储在数据节点（DataNode）上,由NameNode进行管理 2、提供副本进行容错及可靠性保证，每个数据默认在两个不通机架的三个节点上保存由三个副本 3、HDFS是针对MapReduce设计的，使得数据尽可能根据其本地局部性进行访问与计算。 5、提供对这些信息的快速访问，并...
hdfs的分布式存储原理
最新发布
m0_72898512的博客
10-19 2324
namenode运行客户所操作的命令后,生成edits文件,操作的文件或文件夹放入namenode与datanode,而namenode的fsimage文件由secondarynamenode把namenode的edits文件拿过来进行合并,再返回到namenode里.将文件划分后,一个block丢失则原来的大文件没有用了.为了确保文件的安全性,hdfs提供了副本,也就是备份,将文件划分之后hdfs默认将每一个block。方式一:文件是hdfs.site.xml,默认是三个副本,基本无需修改。
HDFS的block和切片(split)的区别
Guo142326的博客
10-31 1591
先来说一说block(数据块)，HDFS存储数据在adtanode节点，而datanodo节点里是分为一个个block存数据的。大数据可能一个地方放不下，需要被拆开存放，并且拆开存放有利于数据的读取。HDFS文件系统默认block是文件存储最小单位(64MB或128MB)。HDFS支持文件“一次写入多次读取”，实际应用都是只写入数据一次但却读取一次或多次，并且读取速度应能满足流式读取的需要。 block也有如下优势： 1.支持大规模文件存储 2.简化系统设计 3.适合数据备份 4.集中的存储 ..
HDFS的block和切片（split）的区别
m0_63061877的博客
10-31 368
1.split是逻辑切片，是MapReduce里切片的概念， block是物理切片，是HDFS中切片的大小 2.split的大小默认下等于block的大小 3.block：文件被上传到HDFS是，会被分块，这是真实的物理上的划分，每块的大小可以设 split：他是逻辑意义上的split，用户根据自己处理的数据量的情况，自行设置 4.split和block是一对多的关系 1.当程序读取block0时，可以完整的读到第五行的完整数据 2.block1的第四行数据被丢弃，直...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值