作者:张建
第一章 小文件过多带来的三个影响
Hive是一个建立在Apache Hadoop之上建立的一个数仓系统,Hive使用Hadoop中的HDFS组件存储数据文件。在使用hive时通常会遇到小文件问题,即存储在HDFS上的数据文件是明显小于HDFS文件块大小的。小文件问题通常会带来以下影响。
1.1 HDFS内存资源消耗过大,并限制了数据存储规模
在HDFS中,具体的文件保存在datanode节点中,在namenode节点中会有一个内存对象与之对应,用于存储文件的元信息,如位置、大小、分块等,每个对象大约占用150个字节。因此,过多的碎片文件会使得namenode消耗大量的内存资源用于管理文件元数据,性能也会因此受到影响,这样namenode的内存容量严重制约了集群的发展。
1.2 数据的访问更加耗时
处理小文件并非Hadoop的设计目标,HDFS的设计目标是流式访问大数据集。在HDFS中,每次读写文件都需要先从namenode获取文件元数据信息,然后与datanode建立连接。而访问大量的小文件会经常会需要大量的定位寻址操作,不断地在datanode间跳跃去检索小文件。这种访问方式严重影响性能。