原地址:http://yjhexy.iteye.com/blog/565334
压缩是否支持多文件和分割:
hadoop默认用压缩算法的本地实现
===============================邪恶的分割线=======================
压缩是否有本地实现:
hadoop的mapReduce算方法需要Splittable的压缩算法支持。
如何选择压缩算法:
举例:大型的日志文件存储
1,不要压缩存储
2,选择zip 或者bzip2能 Splittable 的压缩算法
3,先把分成chunk,再选择任意一种压缩算法压缩
4,使用SequnceFile