大数据面试之HDFS小文件问题及解决方案

最新推荐文章于 2022-10-05 16:23:09 发布
最新推荐文章于 2022-10-05 16:23:09 发布
阅读量361 收藏
点赞数
分类专栏： hadoop HDFS 大数据 文章标签： hdfs 大数据 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/czxylzl/article/details/114273625
版权
小文件在HDFS中可能导致namenode内存压力和访问性能下降。Hadoop提供HAR、Sequence file和CombineFileInputFormat作为解决方案。HAR通过打包小文件减少namenode内存占用，但不可变且不支持空格。Sequence file将小文件合并为大文件，CombineFileInputFormat将多个文件合并成单个split，提高读取效率。
摘要由CSDN通过智能技术生成

小文件是指文件size小于HDFS上block大小的文件。这样的文件会给hadoop的扩展性和性能带来严重问题。

首先，在HDFS中，任何block，文件或者目录在内存中均以对象的形式存储，每个对象约占150byte，如果有1000 0000个小文件，每个文件占用一个block，则namenode大约需要2G空间。如果存储1亿个文件，则namenode需要20G空间。

这样namenode内存容量严重制约了集群的扩展。 其次，访问大量小文件速度远远小于访问几个大文件。HDFS最初是为流式访问大文件开发的，如果访问大量小文件，需要不断的从一个datanode跳到另一个datanode，严重影响性能。

最后，处理大量小文件速度远远小于处理同等大小的大文件的速度。每一个小文件要占用一个task，而task启动将耗费大量时间甚至大部分时间都耗费在启动task和释放task上。

Hadoop自带的解决方案

对于小文件问题，Hadoop本身也提供了几个解决方案，分别为：Hadoop Archive，Sequence file和CombineFileInputFormat。

  • Hadoop Archive

Hadoop Archive或者HAR，是一个高效地将小文件放入HDFS块中的文件存档工具，它能够将多个小文件打包成一个HAR文件，这样在减少namenode内存使用的同时，仍然允许对文件进行透明的访问。

HAR是在Hadoop file system之上的一个文件系统，因此所有fs shell命令对HAR文件均可用，只不过是文件路径格式不一样
使用HAR时需要两点，第一，对小文件进行存档后，原文件并不会自动被

最低0.47元/天 解锁文章
大数据面试指南
关注
专栏目录
大数据面试题（一）：HDFS核心高频面试题
Lansonli（蓝深李）的博客
11-02 1887
HA(High Available)， 高可用，是保证业务连续性的有效解决方案,一般有两个或两个以上的节点，分为 活动节点 （ Active ）及 备用节点 （ Standby） ）。用于实现业务的不中断或短暂中断NN 是 HDFS 集群的单点故障点.在 HA 具体实现方法不同情况下，HA 框架的流程是一致的, 不一致的就是如何存储、管理、同步 edits 编辑日志文件。
Hadoop面试整理-HDFS小文件问题
weixin_43805212的博客
05-03 1306
1）会有什么影响 （1）存储层面： 1个文件块，占用namenode多大内存150字节 1亿个小文件150字节 1个文件块 * 150字节 128G能存储多少文件块？ 128 * 10241024*1024byte/150字节 = 9亿文件块 （2）计算层面： 每个小文件都会起到一个MapTask，占用了大量计算资源 2）怎么解决 （1）采用har归档方式，将小文件归档 （2）采用CombineTextInputFormat （3）有小文件场景开启JVM重用；如果没有小文件，不要开启JVM重用，因为会一
HDFS的常用操作及其相关问题
qq_48913319的博客
01-28 1792
org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /a.txt could only be written to 0 of the 1 minReplication nodes. There are 1 datanode(s) running and 1 node(s) are excluded in this operation. java.nio.channels.UnresolvedAddressException
大数据Hadoop小文件问题与企业级解决方案
赵广陆
07-21 414
1 MapReduce性能优化 现在大家已经掌握了MapReduce程序的开发步骤，注意了，针对MapReduce的案例我们并没有讲太多，主要是因为在实际工作中真正需要我们去写MapReduce代码的场景已经是凤毛麟角了，因为后面我们会学习一个大数据框架Hive，Hive支持SQL，这个Hive底层会把SQL转化为MapReduce执行，不需要 我们写一行代码，所以说工作中的大部分需求我们都使用SQL去实现了，谁还苦巴巴的来写代码啊，一行SQL能抵你写的几十行代码，你还想去写MapReduce代码吗，肯定
十五道海量数据处理面试题
张雷
04-23 410
1. 给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？     方案1：可以估计每个文件安的大小为50G×64=320G，远远大于内存限制的4G。所以不可能将其完全加载到内存中处理。考虑采取分而治之的方法。 遍历文件a，对每个url求取，然后根据所取得的值将url分别存储到1000个小文件（记为）中。这样每个小文件的大约为3
HDFS和FastDFS的上传、下载效率对比测试
chengxiandu5378的博客
01-04 2249
测试环境 测试使用的FastDFS服务器，HDFS服务器均在vmware虚拟机中搭建，HDFS的服务器直接由FastDFS服务器克隆而来，所以除了一个安装了hadoop，一个安装了FastDFS，其他环境完全一致。 HDFS配置了集群环境，一主三从，但是只打开一台从节点服务器。 vmw...
大数据面试突击系列HDFS原理篇
02-22
在HDFS 2.x版本中，引入了HA解决方案，以解决HDFS 1.x中的单点故障问题。以下将详细解析HDFS的HA架构、读写流程和高可用保证机制。 1. **HA架构组成** - **Active NameNode**：作为主节点，负责执行所有命名空间的...
大数据技术之高频面试题8.0.2.pdf
03-22
* HDFS小文件处理：包括小文件的问题、解决方法和常用的处理小文件的方法。 * Shuffle及优化：包括Shuffle的原理、Shuffle的优化方法和常用的优化技术。 * Yarn工作机制：包括Yarn的架构、ApplicationMaster、...
HDFS常见的问题和处理方法积累
欲问君有几多愁的博客
08-14 7094
Hadoop常见问题与解决办法问题1：reduce预处理阶段shuffle时获取已完成的map的输出失败次数超过上限问题描述：问题剖析：解决方案:问题2：Too many fetch-failures问题描述：问题剖析：解决方案:问题3：处理MR速度特别的慢问题描述：问题剖析：解决方案:问题4：能够启动datanode，但无法访问，也无法结束问题描述：问题剖析：解决方案:问题5：节点断联问题描述：...
HDFS小文件危害以及解决方案
whiteblacksheep的博客
07-10 3111
小文件的定义 文件大小小于或者等于30M的文件 小文件的危害 （1）HDFS不适合大量小文件的存储，因namenode将文件系统的元数据存放在内存中，因此存储的文件数目受限于 namenode的内存大小。HDFS中每个文件、目录、数据块占用150Bytes。如果存放的文件数目过多的话会占用很大的内存甚至撑爆内存 （2）HDFS适用于高吞吐量，而不适合低时间延迟的访问。如果同时存入大量的...
HDFS完全分布式集群搭建与配置及常见问题总结
m0_63945545的博客
09-16 1301
Hadoop Distributed File System，简称 HDFS，是一个分布式文件系统。它解决了海量数据存储的问题。(1)NameNode（nn）：存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode等。(2)DataNode(dn)：在本地文件系统存储文件块数据，以及块数据的校验和。(3)Secondary NameNode(2nn)：每隔一段时间对NameNode元数据备份。1.路径错误问题。
hadoop常见问题及解决方案
LeanKing847的博客
06-20 2062
hadoop常见问题及解决方案 1.hadoop单节点集群搭建成功，进程也都成功启动，但是却在web端看不到？ 解决方法：可能是在因为本地的hosts文件中没有配置主机名和ip之间的对应关系。 可以尝试用ip：端口号（50070/8088），如果可以打开，就可以进行下一步，在本地找到hosts文件（C:\Windows\System32\drivers\etc），在里面添加上ip和主机名的对应关系。 2.虚拟机动态IP的时候可以ping通外网，但是设置为静态IP之后就不能ping通外网？ 解决方法：可能是D
为何HDFS中不适合存小文件(大数据面试高频三)
最新发布
weixin_67766119的博客
10-05 454
HDFS天生就是为了存储大文件而生，一个块的元数据大小大概在150字节左右，存储一个小文件就要占NameNode 150字节的内存，如果存储大量的小文件很快就将NameNode内存耗尽，而整个集群存储的数据量很小，失去了HDFS的意义，同时也会影响NameNode的寻址时间，导致寻址时间过长。可以将数据和并上传，或者将文件append形式追加在HDFS文件末尾。
Hadoop中小文件过多的问题
weixin_49539546的博客
03-19 2023
问题定义 HDFS上的小文件是指文件大小明显小于HDFS上块（block）大小（默认64MB）的文件。在hdfs上大量存储小文件会给hadoop的扩展性和性能带来严重问题。 原因 首先，在HDFS中，任何一个文件，目录或者block在NameNode节点的内存中均以一个对象表示（元数据）（Every file, directory and block in HDFS is represented as an object in the namenode’s memory），而这受到NameNode物理内存
代达罗斯之殇-大数据领域小文件问题解决攻略
微信搜：import_bigdata，大数据领域硬核原创作者
12-27 786
：点击上方蓝色字体，选择“设为星标”回复”资源“获取更多惊喜大数据技术与架构点击右侧关注，大数据开发领域最强公众号！大数据真好玩点击右侧关注，大数据真好玩！海量小文件问题是工业界和学术界...
数据治理系列(一)：大数据集群资源治理
.
09-09 1992
https://mp.weixin.qq.com/s/kIuiv7qDo4yvxr-mIJf3QQ 随着移动互联网和大数据的蓬勃发展，“数据即资产”的理念深入人心。大数据已发展成为具有战略意义的生产资料，在各行各业发挥着极其重要的作用，而大数据也给很多企业带来了前所未有的自豪感和自信感。 但是，大数据真的是越“大”越好吗？大数据到达一定的规模，其所需承载的集群资源成本、数据开发维护成本和数据管理成本，将会呈几何式增长，同样也将会带来一笔巨额的开销。 如果缺少科学有效的治理管控，就会出现大量的“负”数据
HDFS无法高效存储大量小文件，如何处理好小文件？
热门推荐
zyd94857的博客
04-15 1万+
一、HAR文件方案         为了缓解大量小文件带给namenode内存的压力，Hadoop 0.18.0引入了Hadoop Archives(HAR files)，其本质就是在HDFS之上构建一个分层文件系统。通过执行hadoop archive 命令就可以创建一个HAR文件。在命令行下，用户可使用一个以har://开头的URL就可以访问HAR文件中的小文件。使用HAR files可以减...
HDFS相关面试题
weixin_44844089的博客
05-18 2183
1. hdfs概述 hdfs（Hadoop Distribute File System）是分布式文件系统。 分布式文件系统 distributed file system 是指文件系统管理的物理存储资源不一定直接链接在本地节点上，而是通过计算机网络与节点相连，可让多机器上的多用户分享文件和存储空间。 说简单点就是将一个大文件分布式存储在不同的机器节点上 2.hdfs架构 HDFS具有主/从架构。HDFS集群由单个NameNode多个datanode构成。 1）Namenode是负责管理分布式文件系统的命名
大数据面试必备：MapReduce与HDFS解析及面试题集
HDFS的一个缺点是对小文件处理效率不高，因为每个文件都会占用NameNode的内存，而且不支持文件的随机修改，只能进行追加操作。 面试时，对这些概念的理解和掌握程度将直接影响求职者是否能通过技术面试。理解Hadoop...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值