MapReduce进阶与经典案例

• 一.HDFS数据格式详解

• 1、文件格式

• 文件格式按面向的存储形式不同，分为面向行和面向列的两大类文件格式。

• 面向行/列	类型名称	是否可切分	优点	缺点	适用场景
  面向行	文本文件格式(.txt)	是	查看便编辑简单	无压缩占空间大、传输压力大、数据解析开销大	学习练习使用
  面向行	sequenceFile序列文件格式(.seq)	是	原生支持、二进制kv存储、支持行和块压缩	本地查看不方便:小文件合并成kv结构后不易查看内部数据	生产环境使用、map输出的默认文件格式
  面向列	rcfile文件格式(.rc)	是	数据加载快、查询快、空间利用率高、高负载能力	每一项都不是最高	学习生产均可
  面向列	orcfile文件格式(.orc)	是	兼具了rcfile优点，进一步提高了读取、存储效率、新数据类型的支持	每一项都不是最高	学习生产均可

• 2、压缩格式

• 压缩格式按其可切分计算性，分为可切分计算和不可切分计算两种。

• 可切分性	类型名称	是否原生	优点	缺点	适用场景
  可切分	lzo(.lzo)	否	压缩/解压速度快，合理的压缩率	压缩率比gzip低，非原生、需要native安装	单个文件越大，lzo优点越明显，压缩完成后>=200M为宜
  可切分	bzip2(.bz2)	是	高压缩率超过gzip，原生支持、不需要native安装，用linux bzip可解压操作	压缩/解压速率慢	处理速度要求不高、压缩率要求高的情况
  不可切分	gzip(.gz)	是	压缩/解压速度快，原生/native都支持，使用方便	不可切分，对cpu要求较高	压缩完成后<=128M的文件适宜