大数据面试之HDFS小文件问题及解决方案

最新推荐文章于 2023-05-04 20:16:06 发布
最新推荐文章于 2023-05-04 20:16:06 发布
阅读量256 收藏 1
点赞数
分类专栏： HDFS 大数据 面试题 文章标签： hadoop hdfs 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44361667/article/details/114273609
版权
本文探讨了HDFS中处理小文件带来的内存和性能挑战，包括namenode内存限制、访问速度下降和处理效率低。Hadoop提供了Hadoop Archive (HAR)、Sequence file和CombineFileInputFormat作为解决方案。HAR通过打包小文件减少namenode内存占用，但不可更改；Sequence file将小文件合并为大文件，而CombineFileInputFormat将多个文件合并为一个输入split，提高处理效率。
摘要由CSDN通过智能技术生成

小文件是指文件size小于HDFS上block大小的文件。这样的文件会给hadoop的扩展性和性能带来严重问题。

首先，在HDFS中，任何block，文件或者目录在内存中均以对象的形式存储，每个对象约占150byte，如果有1000 0000个小文件，每个文件占用一个block，则namenode大约需要2G空间。如果存储1亿个文件，则namenode需要20G空间。

这样namenode内存容量严重制约了集群的扩展。 其次，访问大量小文件速度远远小于访问几个大文件。HDFS最初是为流式访问大文件开发的，如果访问大量小文件，需要不断的从一个datanode跳到另一个datanode，严重影响性能。

最后，处理大量小文件速度远远小于处理同等大小的大文件的速度。每一个小文件要占用一个task，而task启动将耗费大量时间甚至大部分时间都耗费在启动task和释放task上。

Hadoop自带的解决方案

对于小文件问题，Hadoop本身也提供了几个解决方案，分别为：Hadoop Archive，Sequence file和CombineFileInputFormat。

  • Hadoop Archive

Hadoop Archive或者HAR，是一个高效地将小文件放入HDFS块中的文件存档工具，它能够将多个小文件打包成一个HAR文件，这样在减少namenode内存使用的同时，仍然允许对文件进行透明的访问。

HAR是在Hadoop file system之上的一个文件系统，因此所有fs shell命令对HAR文件均可用，只不过是文件路径格式不一样
使用HAR时需要两点，第一，对小文件进行存档后，原文件并不会自动被

最低0.47元/天 解锁文章
大数据面经
关注
专栏目录
大数据面试题（一）：HDFS核心高频面试题
Lansonli（蓝深李）的博客
11-02 1935
HA(High Available)， 高可用，是保证业务连续性的有效解决方案,一般有两个或两个以上的节点，分为 活动节点 （ Active ）及 备用节点 （ Standby） ）。用于实现业务的不中断或短暂中断NN 是 HDFS 集群的单点故障点.在 HA 具体实现方法不同情况下，HA 框架的流程是一致的, 不一致的就是如何存储、管理、同步 edits 编辑日志文件。
Hadoop面试整理-HDFS小文件问题
weixin_43805212的博客
05-03 1329
1）会有什么影响 （1）存储层面： 1个文件块，占用namenode多大内存150字节 1亿个小文件150字节 1个文件块 * 150字节 128G能存储多少文件块？ 128 * 10241024*1024byte/150字节 = 9亿文件块 （2）计算层面： 每个小文件都会起到一个MapTask，占用了大量计算资源 2）怎么解决 （1）采用har归档方式，将小文件归档 （2）采用CombineTextInputFormat （3）有小文件场景开启JVM重用；如果没有小文件，不要开启JVM重用，因为会一
HDFS的常用操作及其相关问题
qq_48913319的博客
01-28 1813
org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /a.txt could only be written to 0 of the 1 minReplication nodes. There are 1 datanode(s) running and 1 node(s) are excluded in this operation. java.nio.channels.UnresolvedAddressException
大数据Hadoop小文件问题与企业级解决方案
赵广陆
07-21 436
1 MapReduce性能优化 现在大家已经掌握了MapReduce程序的开发步骤，注意了，针对MapReduce的案例我们并没有讲太多，主要是因为在实际工作中真正需要我们去写MapReduce代码的场景已经是凤毛麟角了，因为后面我们会学习一个大数据框架Hive，Hive支持SQL，这个Hive底层会把SQL转化为MapReduce执行，不需要 我们写一行代码，所以说工作中的大部分需求我们都使用SQL去实现了，谁还苦巴巴的来写代码啊，一行SQL能抵你写的几十行代码，你还想去写MapReduce代码吗，肯定
十五道海量数据处理面试题
张雷
04-23 421
1. 给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？     方案1：可以估计每个文件安的大小为50G×64=320G，远远大于内存限制的4G。所以不可能将其完全加载到内存中处理。考虑采取分而治之的方法。 遍历文件a，对每个url求取，然后根据所取得的值将url分别存储到1000个小文件（记为）中。这样每个小文件的大约为3
大数据面试突击系列HDFS原理篇
02-22
在HDFS 2.x版本中，引入了HA解决方案，以解决HDFS 1.x中的单点故障问题。以下将详细解析HDFS的HA架构、读写流程和高可用保证机制。 1. **HA架构组成** - **Active NameNode**：作为主节点，负责执行所有命名空间的...
大数据技术之高频面试题8.0.2.pdf
03-22
* HDFS小文件处理：包括小文件的问题、解决方法和常用的处理小文件的方法。 * Shuffle及优化：包括Shuffle的原理、Shuffle的优化方法和常用的优化技术。 * Yarn工作机制：包括Yarn的架构、ApplicationMaster、...
HDFS和FastDFS的上传、下载效率对比测试
chengxiandu5378的博客
01-04 2273
测试环境 测试使用的FastDFS服务器，HDFS服务器均在vmware虚拟机中搭建，HDFS的服务器直接由FastDFS服务器克隆而来，所以除了一个安装了hadoop，一个安装了FastDFS，其他环境完全一致。 HDFS配置了集群环境，一主三从，但是只打开一台从节点服务器。 vmw...
HDFS常见的问题和处理方法积累
欲问君有几多愁的博客
08-14 7211
Hadoop常见问题与解决办法问题1：reduce预处理阶段shuffle时获取已完成的map的输出失败次数超过上限问题描述：问题剖析：解决方案:问题2：Too many fetch-failures问题描述：问题剖析：解决方案:问题3：处理MR速度特别的慢问题描述：问题剖析：解决方案:问题4：能够启动datanode，但无法访问，也无法结束问题描述：问题剖析：解决方案:问题5：节点断联问题描述：...
HDFS小文件危害以及解决方案
whiteblacksheep的博客
07-10 3134
小文件的定义 文件大小小于或者等于30M的文件 小文件的危害 （1）HDFS不适合大量小文件的存储，因namenode将文件系统的元数据存放在内存中，因此存储的文件数目受限于 namenode的内存大小。HDFS中每个文件、目录、数据块占用150Bytes。如果存放的文件数目过多的话会占用很大的内存甚至撑爆内存 （2）HDFS适用于高吞吐量，而不适合低时间延迟的访问。如果同时存入大量的...
HDFS完全分布式集群搭建与配置及常见问题总结
m0_63945545的博客
09-16 1330
Hadoop Distributed File System，简称 HDFS，是一个分布式文件系统。它解决了海量数据存储的问题。(1)NameNode（nn）：存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode等。(2)DataNode(dn)：在本地文件系统存储文件块数据，以及块数据的校验和。(3)Secondary NameNode(2nn)：每隔一段时间对NameNode元数据备份。1.路径错误问题。
hadoop常见问题及解决方案
LeanKing847的博客
06-20 2123
hadoop常见问题及解决方案 1.hadoop单节点集群搭建成功，进程也都成功启动，但是却在web端看不到？ 解决方法：可能是在因为本地的hosts文件中没有配置主机名和ip之间的对应关系。 可以尝试用ip：端口号（50070/8088），如果可以打开，就可以进行下一步，在本地找到hosts文件（C:\Windows\System32\drivers\etc），在里面添加上ip和主机名的对应关系。 2.虚拟机动态IP的时候可以ping通外网，但是设置为静态IP之后就不能ping通外网？ 解决方法：可能是D
为何HDFS中不适合存小文件(大数据面试高频三)
weixin_67766119的博客
10-05 471
HDFS天生就是为了存储大文件而生，一个块的元数据大小大概在150字节左右，存储一个小文件就要占NameNode 150字节的内存，如果存储大量的小文件很快就将NameNode内存耗尽，而整个集群存储的数据量很小，失去了HDFS的意义，同时也会影响NameNode的寻址时间，导致寻址时间过长。可以将数据和并上传，或者将文件append形式追加在HDFS文件末尾。
大数据的小文件优化指引
最新发布
2301_77818583的博客
05-04 293
如果结果文件的平均大小小于hive.merge.mapfiles设置的值，则额外启动一轮job进行小文件的合并，合并后的期望文件大小由max(hive.merge.size.per.task, hive.merge.smallfiles.avgsize)来决定。此时也需要在结果写入到hdfs之后启动一轮额外的任务来合并小文件，方法是使用distribute by 把相同分区的数据分发到相同的task中，如果一个分区用一个task会处理较多的数据，可以把一个分区散列成多个task来处理。
Hadoop中小文件过多的问题
weixin_49539546的博客
03-19 2040
问题定义 HDFS上的小文件是指文件大小明显小于HDFS上块（block）大小（默认64MB）的文件。在hdfs上大量存储小文件会给hadoop的扩展性和性能带来严重问题。 原因 首先，在HDFS中，任何一个文件，目录或者block在NameNode节点的内存中均以一个对象表示（元数据）（Every file, directory and block in HDFS is represented as an object in the namenode’s memory），而这受到NameNode物理内存
代达罗斯之殇-大数据领域小文件问题解决攻略
微信搜：import_bigdata，大数据领域硬核原创作者
12-27 804
：点击上方蓝色字体，选择“设为星标”回复”资源“获取更多惊喜大数据技术与架构点击右侧关注，大数据开发领域最强公众号！大数据真好玩点击右侧关注，大数据真好玩！海量小文件问题是工业界和学术界...
数据治理系列(一)：大数据集群资源治理
.
09-09 2027
https://mp.weixin.qq.com/s/kIuiv7qDo4yvxr-mIJf3QQ 随着移动互联网和大数据的蓬勃发展，“数据即资产”的理念深入人心。大数据已发展成为具有战略意义的生产资料，在各行各业发挥着极其重要的作用，而大数据也给很多企业带来了前所未有的自豪感和自信感。 但是，大数据真的是越“大”越好吗？大数据到达一定的规模，其所需承载的集群资源成本、数据开发维护成本和数据管理成本，将会呈几何式增长，同样也将会带来一笔巨额的开销。 如果缺少科学有效的治理管控，就会出现大量的“负”数据
大数据之小文件
南弥陀的博客
10-26 849
小文件 小文件指的是远小于hdfs块大小的文件，在hdfs 上任何一个文件都有其相应的元数据信息，小文件太多，相应的元数据就会多，namenode维护起来不方便 小文件太多，相应的启动的maptask 就会很多，会增加开销 hive小文件问题 输入的小文件太多 sethive.input.format=org.apache.Hadoop.hive.ql.io.CombineHiveInp...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值