- 博客(9)
- 资源 (1)
- 收藏
- 关注
原创 Hadoop关于处理大量小文件的问题和解决办法(2)--CombineFileInputFormat
针对上篇Hadoop关于处理大量小文件的问题和解决办法
2014-09-22 15:12:00 523
转载 Hadoop关于处理大量小文件的问题和解决方法
摘要:小文件指的是那些size比HDFS 的block size(默认64M)小的多的文件。如果在HDFS中存储小文件,那么在HDFS中肯定会含有许许多多这样的小文件(不然就不会用hadoop了)。 而HDFS的问题在于无法很有效的处小文件指的是那些size比HDFS的block size(默认64M)小的多的文件。如果在HDFS中存储小文件,那么在HDFS中肯定会含有许许多多这样的小文件
2014-09-22 12:47:18 374
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人