MapReduce数据压缩

Hadoop三个阶段

1）分布式文件系统HDFS
用于存储宏大数据量文件。
2）分布式编程框架MapReduce
用于分布式计算海量数据。
3）yarn框架
分布式调度平台，用于为MapReducer合理分配资源。

Hadoop数据压缩

MR操作过程中进行大量数据传输。
压缩技术能够有效的减少底层存储（HDFS）读写字节数。 压缩提高了网络带宽和磁盘空间的效率。
数据压缩能够邮箱的节省资源！
压缩是mr程序的优化策略！
通过压缩编码对mapper或者reducer数据传输进行数据的压缩，以减少磁盘IO。

压缩的基本原则

1）运算密集型任务少用压缩
2）IO密集型的任务，多用压缩
MR支持的压缩编码

MR支持的压缩编码

压缩格式 | hadoop是否自带？ |文件拓展名 | 是否可以切分

压缩格式	hadoop是否自带	文件拓展名	是否可以切分
DEFAULT	是	.deflate	否
Gzip	是	.gz	否
bzip2	是	.bz2	是
LZO	否	.lzo	是