为什么分片大小需要与HDFS数据块大小一致

最新推荐文章于 2021-12-09 14:47:57 发布
最新推荐文章于 2021-12-09 14:47:57 发布
阅读量3.3k 收藏 1
点赞数 2
分类专栏： Hadoop 文章标签： 为什么分片大小需要与HDFS数据块大小一
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/keda8997110/article/details/8438200
版权

       hadoop将mapReduce的输入数据划分为等长的小数据块，称为输入分片或者分片，hadoop为每个分片构建一个map任务。

       hadoop在存储有输入数据（HDFS中的数据）的节点上运行map任务，可以获得高性能，这就是所谓的数据本地化。所以最佳分片的大小应该与HDFS上的块大小一样，因为如果分片跨越2个数据块，对于任何一个HDFS节点（基本不肯能同时存储这2个数据块），分片中的另外一块数据就需要通过网络传输到map任务节点，与使用本地数据运行map任务相比，效率更低！！！

架构师之路
关注
专栏目录
绝对完美解决hdfs datanode数据和磁盘数据分布不均调整（hdfs balancer ）——经验总结
赵英超的博客
02-04 2030
hdfs 需要存写大量文件，有时磁盘会成为整个集群的性能瓶颈，所以需要优化 hdfs 存取速度，将数据目录配置多磁盘，既可以提高并发存取的速度，还可以解决一块磁盘空间不够的问题。大数据Hadoop之——Hadoop 3.3.4 HA（高可用）原理与实现（QJM）
问题记录：在hdfs上发现hive表数据的块大小变成了256M
weixin_46034893的博客
09-17 746
直接上问题，发现有的表的块大小是256M，有的是128M，但是hdfs上并没有设置这个，就使用的默认的128M，那为啥变成了256M呢？ +----------------------------------------------------+ | createtab_stmt | +----------------------------------------------------+ | CREATE TABLE `qzw_m
为什么map分片大小要与块大小相同？
weixin_34232617的博客
11-27 293
2019独角兽企业重金招聘Python工程师标准>>> ...
hadoop为什么最佳分片的大小与快的大小相同
weixin_34150224的博客
11-01 247
2019独角兽企业重金招聘Python工程师标准>>> ...
学习笔记之IP分片抓包实验
上善若水的博客
07-28 4589
学习笔记之IP分片抓包实验摘要分片实验identification字段附:`MTU`和`MSS`1，MTU（Maximum Transmission Unit，MTU），最大传输单元2，MSS（Maxitum Segment Size）最大分段大小的缩写，是TCP协议里面的一个概念简而言之：TCP/UDP实验总结：IP难点之ip分片 最近为了维护一个抓包程序，搜索了好几篇文章，发现以下这一篇有点收藏价值，复制过来收藏吧，方便以后自己阅读。 摘要 1.IP+ICMP+DATA = 1500字节 2.ping
值得一提：关于 HDFS 的 file size 和 block size
samhacker的专栏
04-07 2万+
一个常被问到的一个问题是： 如果一个HDFS上的文件大小(file size) 小于块大小(block size) ，那么HDFS会实际占用Linux file system的多大空间？ 本文会通过实验分析这个问题。
HDFS数据不均衡解决方案：基于剩余空间大小的均衡策略
走在前往架构师的路上
10-22 4192
前言相信对于广大的Hadoop集群的使用者和维护者，集群在长时间的使用过程中，肯定或多或少碰到节点间数据不均衡的现象。比如有些节点可能磁盘使用率已经达到90%，而有些节点可能就10%。当然我们说，在使用百分比明细不均衡的情况下，我们可以用HDFS提供的Balancer工具帮我们解决这个问题。但是这不能解决所有的情况，比如说存在异构节点的集群。举一个简单的例子，集群内2个节点：A节点磁盘容量100T,
HDFS保证数据一致性与容错机制
ThreeAspects的博客
05-07 2984
HDFS保证数据一致性HadoopNameNode保证元数据的一致性校验和HA高可用冗余副本机架感知心跳机制安全模式校验和回收站元数据保护快照机制 Hadoop   HDFS作为分布式文件系统在分布式环境下如何保证数据一致性。HDFS中，存储的文件将会被分成若干的大小一致的block分布式地存储在不同的机器上，需要NameNode节点来对这些数据进行管理，存储这些block的结点称为DataNod...
hdfs--
leezsj的博客
07-31 802
HDFS 是一个分布式的文件系统 我们可以用命令来访问系统的文件 - 访问HDFS的命令 hadoop dfs -- 已过时 hadoop fs -- 使用范围更大 hdfs dfs -- 使用范围较小 hadoop fs和hdfs dfs之间没有大的区别 - 技巧 1.在命令行中输入hdfs ,回车后可以提示hdfs后可以使用哪些命令 2.hdfs dfs,回车后会提示dfs 可以添加的一些常用shell命令 - 注意事项 分布式文件系统的路径
HDFS中数据块概念及设置大小的学问
liu123641191的博客
06-19 6716
sss
hadoop修改HDFS默认块大小的配置
飘羽的博客
01-22 1万+
首先叙述一下： 1.hadoop1.x的HDFS默认块大小为64MB；hadoop2.x的默认块大小为128MB。 如果进行数据块的自定义需要修改hdfs-site.xml文件，例如： property>   name>dfs.blocksizename>   value>30mvalue>   property>   property>   name>dfs.name
【计算机网络】：IP分片详解及例题
热门推荐
阳光心态，健康人生的博客
11-17 2万+
前言这点是计算机网络里面的一个概念，可能有好多同学跟我一样的上网不听课，所以我在正文之前得给大家讲一讲一些基础概念。首先，这个概念是建立在网络层里面的。至于计算机网络分为哪些层，这个可以去百度~背景为什么提出这个概念？ 因为路由器转发数据报时不同的链路能够容纳的数据报的大小不同，所以当数据报从大的链路通过路由器转发到小的链路上时，需要进行IP分片，也就是把数据报拆分，然后到最后的链路上再组合好
计算机网络实验 网络层 问答题
xianqiuyigedao的博客
12-09 5661
一、IP分析 ① 一个IP分组经路由器转发后，有哪些字段会发生变化？ TTL–,首部检验和会改变. MAC帧中的源地址和目的地址改变. ② 为什么任务三中的两个分片的长度分别为1500和48？ 数据部分1500，IP首部20.封装到以太网中，超过MTU。分片时采用贪心策略，能分多大分多大，除最后一片要保证数据部分是8的倍数。 1500 = 1480 + 20. 还有7字节的前导码和1字节的帧定界符? 二、IP地址分配实验 ① 与分类的IP编址方法相比，CIDR编址方案具有什么优点？ 浪费更少、更加灵活. ②
关于hdfs分片和分块
流的博客
01-15 6740
1.分块 从2.7.3版本开始，block size由64 MB变成了128 MB的。 在分布式的HDFS集群上，Hadoop系统保证一个块存储在一个datanode上。 HDFS的namenode只存储整个文件系统的元数据镜像，这个镜像由配置dfs.name.dir指定，datanode则存有文件的metainfo和具体的分块，存储路径由dfs.data.dir指定。 2.分片 由InputFo...
【Hadoop】大数据时代，我们为什么使用hadoop
weixin_30654583的博客
11-04 685
博客已转移，请借一步说话。http://www.daniubiji.cn/archives/538 我们先来看看大数据时代， 什么叫大数据，“大”，说的并不仅是数据的“多”！不能用数据到了多少TB ，多少PB来说。 对于大数据，可以用四个词来表示：大量，多样，实时，不确定。 也就是数据的量庞大，数据的种类繁杂多样话，数据的变化飞快，数据的真假存疑。 大量：这个大家都知道，想百...
HDFS 文件块大小
ITBOY_ITBOX博客
05-09 1672
HDFS中的文件在物理上是分块存储（Block），块的大小可以通过配置参数( dfs.blocksize)来规定，默认大小在Hadoop2.x版本中是128M，老版本中是64M。 思考：为什么块的大小不能设置太小，也不能设置太大？ （1）HDFS的块设置太小，会增加寻址时间，程序一直在找块的开始位置； （2）如果块设置的太大，从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。导致程...
Hadoop动态调整Map Task内存资源大小
走在前往架构师的路上
11-23 8051
前言我们都知道,在Hadoop中,一个Job的执行需要转化成1个个的Task去执行,在Task中,有会有2个类型,一个为Map Task,另一个就是Reduce Task.当然,这不是最底层的级别,在Task内部,还可以再分为TaskAttempt,叫做任务尝试,任务尝试姑且不在本篇文章的论述范围内.OK,针对每个Task,他当然会有他的资源使用量,广义的来讲,资源分为2个概念,1个是Memory
Elastic-Job原理--任务分片策略（三）
井底之蛙
10-10 1万+
上一篇博客Elastic-Job原理--服务器初始化、节点选举与通知(二)介绍了Elastic-Job的启动流程，这篇博客我们了解学习一下Elastic-Job的任务分片策略，目前提供了三种任务分片策略，分片策略的实现最终是在注册中心zk中在分片的instance中写入实例信息。 目前Elastic-Job提供分片接口JobShardingStrategy： /** * 作业分片策略....
HDFS详解：数据块与元数据节点的协作
与传统文件系统不同，HDFS不会为小于一个数据块的文件分配整个数据块的空间，而是按需分配。这使得HDFS能够高效地处理大文件和大量小文件。 2. **元数据节点（Namenode）**： Namenode是HDFS的名称节点，负责维护...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值