Hadoop图像解压缩
Hadoop云平台可以完成 对海量图像数据的处理,其主要考虑到压缩速度和压缩图像的可分割性。
压缩算法主要从时间和速度上进行权衡,更快的压缩和解压缩速度会占用更多的存储空间。Hadoop实现对文件的压缩主要先考虑到文件的可分割性,其次,利用mapduce并行算法实现对文件并行压缩。
压缩文件的可分割性,例如我们在对HDFS中640M的文本文件进行处理,当前的HDFS数据块的大小为64M时,该文件被分为10块,对应的Mapreduce作业将文件分成10个输入分片,提供10个独立的map任务进行处理。同样在对压缩文件进行分片时,要考虑到Hadoop是否支持对压缩文件的可分割。例如如果该文件是一个gzip的格式的压缩文件(其大小不变),不能进行分割,因为Hadoop不能从gzip的数据流中的某个点开始进行数据的解压,如果是一个zip类型的文件,即可实现对文件的解压,因为Hadoop支持zip压缩文件的分割。
Hadoop为支持文件分割引入了编码/解码器
在 Hadoop的实现中,数据编码器