Hadoop压缩算法说明与选择

原地址：http://yjhexy.iteye.com/blog/565334

压缩是否支持多文件和分割：

hadoop默认用压缩算法的本地实现

===============================邪恶的分割线=======================

 压缩是否有本地实现：

hadoop的mapReduce算方法需要Splittable的压缩算法支持。

如何选择压缩算法：

举例：大型的日志文件存储

1，不要压缩存储

2，选择zip 或者bzip2能 Splittable 的压缩算法

3，先把分成chunk，再选择任意一种压缩算法压缩

4，使用SequnceFile