大数据优化方案----HDFS小文件优化方法

“无意中发现了一个巨牛的人工智能教程，忍不住分享一下给大家。教程不仅是零基础，通俗易懂，而且非常风趣幽默，像看小说一样！觉得太牛了，所以分享给大家。点这里可以跳转到教程。”。

大数据面试宝典目录,请点击

HDFS 小文件优化方法（☆☆☆☆☆）

1） HDFS 小文件弊端：
       HDFS 上每个文件都要在namenode 上建立一个索引，这个索引的大小约为150byte，这样当小文件比较多的时候，就会产生很多的索引文件，一方面会大量占用namenode 的内存空间，另一方面就是索引文件过大是的索引速度变慢。
2） 解决的方式：
（1）Hadoop 本身提供了一些文件压缩的方案。
（2）从系统层面改变现有HDFS 存在的问题，其实主要还是小文件的合并，然后建立比较快速的索引。