Hadoop（20）：Hadoop数据压缩

已于 2022-05-08 10:27:57 修改
阅读量735 收藏
点赞数
分类专栏： # Hadoop 文章标签： hadoop hdfs 大数据 mapreduce bigdata
于 2022-05-03 23:41:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yang_shibiao/article/details/124563914
版权

目录

0. 相关文章链接

1. 概述

1.1. 压缩的好处和坏处

1.2. 压缩的原则

2. MR支持的压缩编码

2.1. 压缩算法对比介绍

2.2. 压缩性能的比较

3. 压缩方式选择

3.1. Gzip压缩

3.2. Bzip2压缩

3.3. Lzo压缩

3.4. Snappy压缩

3.5. 压缩位置选择

4. 压缩参数配置

5. 压缩实操案例

5.1. Map输出端采用压缩

5.2. Reduce输出端采用压缩

0. 相关文章链接

Hadoop文章汇总

1. 概述

1.1. 压缩的好处和坏处

压缩的优点：以减少磁盘IO、减少磁盘存储空间。

压缩的缺点：增加CPU开销。

1.2. 压缩的原则

1）运算密集型的Job，少用压缩

2）IO密集型的Job，多用压缩

2. MR支持的压缩编码

2.1. 压缩算法对比介绍

压缩格式Hadoop自带？算法文件扩展名是否可切片换成压缩格式后，原来的程序是否需要修改
DEFLATE是，直接使用DEFLATE.deflate否和文本处理一样，不需要修改
Gzip是，直接使用DEFLATE.gz否和文本处理一样，不需要修改
bzip2是，直接使用bzip2.bz2是和文本处理一样，不需要修改
LZO否，需要安装LZO.lzo是需要建索引，还需要指定输入格式
Snappy是，直接使用Snappy.snappy否和文本处理一样，不需要修改

2.2. 压缩性能的比较

压缩算法原始文件大小压缩文件大小压缩速度解压速度
gzip8.3GB1.8GB17.5MB/s58MB/s
bzip28.3GB1.1GB2.4MB/s9.5MB/s
LZO8.3GB2.9GB49.3MB/s74.6MB/s

关于snappy的压缩，可以参考此网址：snappy | A fast compressor/decompressor

        Snappy是一个压缩/解压库。 它的目标不是最大压缩，或与任何其他压缩库兼容; 相反，它的目标是非常高的速度和合理的压缩。 例如，与zlib的最快模式相比，Snappy在大多数输入中都快了一个数量级，但是压缩后的文件却大了20%到100%。 在64位模式的单核core i7处理器上，Snappy压缩速度约为250 MB/秒，解压速度约为500 MB/秒。  

3. 压缩方式选择

压缩方式选择时重点考虑：压缩/解压缩速度、压缩率（压缩后存储大小）、压缩后是否可以支持切片。

3.1. Gzip压缩

优点：压缩率比较高； 

缺点：不支持Split；压缩/解压速度一般；

3.2. Bzip2压缩

优点：压缩率高；支持Split； 

缺点：压缩/解压速度慢。

3.3. Lzo压缩

优点：压缩/解压速度比较快；支持Split；

缺点：压缩率一般；想支持切片需要额外创建索引。

3.4. Snappy压缩

优点：压缩和解压缩速度快； 

缺点：不支持Split；压缩率一般； 

3.5. 压缩位置选择

压缩可以在MapReduce作用的任意阶段启用。

4. 压缩参数配置

1）为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器

压缩格式对应的编码/解码器
DEFLATEorg.apache.hadoop.io.compress.DefaultCodec
gziporg.apache.hadoop.io.compress.GzipCodec
bzip2org.apache.hadoop.io.compress.BZip2Codec
LZOcom.hadoop.compression.lzo.LzopCodec
Snappyorg.apache.hadoop.io.compress.SnappyCodec

2）要在Hadoop中启用压缩，可以配置如下参数

参数默认值阶段建议
io.compression.codecs（在core-site.xml中配置）无，这个需要在命令行输入hadoop checknative查看输入压缩Hadoop使用文件扩展名判断是否支持某种编解码器
mapreduce.map.output.compress（在mapred-site.xml中配置）FALSEmapper输出这个参数设为true启用压缩
mapreduce.map.output.compress.codec（在mapred-site.xml中配置）org.apache.hadoop.io.compress.DefaultCodecmapper输出企业多使用LZO或Snappy编解码器在此阶段压缩数据
mapreduce.output.fileoutputformat.compress（在mapred-site.xml中配置）FALSEreducer输出这个参数设为true启用压缩
mapreduce.output.fileoutputformat.compress.codec（在mapred-site.xml中配置）org.apache.hadoop.io.compress.DefaultCodecreducer输出使用标准工具或者编解码器，如gzip和bzip2

5. 压缩实操案例

5.1. Map输出端采用压缩

        即使MapReduce的输入输出文件都是未压缩的文件，仍然可以对Map任务的中间结果输出做压缩，因为它要写在硬盘并且通过网络传输到Reduce节点，对其压缩可以提高很多性能，这些工作只要设置两个属性即可，具体代码设置如下。

1）Hadoop源码支持的压缩格式有：BZip2Codec、DefaultCodec

import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.io.compress.BZip2Codec;	
import org.apache.hadoop.io.compress.CompressionCodec;
import org.apache.hadoop.io.compress.GzipCodec;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class WordCountDriver {

	public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {

		Configuration conf = new Configuration();

		// 开启map端输出压缩
		conf.setBoolean("mapreduce.map.output.compress", true);

		// 设置map端输出压缩方式
		conf.setClass("mapreduce.map.output.compress.codec", BZip2Codec.class,CompressionCodec.class);

		Job job = Job.getInstance(conf);

		job.setJarByClass(WordCountDriver.class);

		job.setMapperClass(WordCountMapper.class);
		job.setReducerClass(WordCountReducer.class);

		job.setMapOutputKeyClass(Text.class);
		job.setMapOutputValueClass(IntWritable.class);

		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(IntWritable.class);

		FileInputFormat.setInputPaths(job, new Path(args[0]));
		FileOutputFormat.setOutputPath(job, new Path(args[1]));

		boolean result = job.waitForCompletion(true);

		System.exit(result ? 0 : 1);
	}
}

2）Mapper保持不变

import java.io.IOException;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

public class WordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable>{

	Text k = new Text();
	IntWritable v = new IntWritable(1);

	@Override
	protected void map(LongWritable key, Text value, Context context)throws IOException, InterruptedException {

		// 1 获取一行
		String line = value.toString();

		// 2 切割
		String[] words = line.split(" ");

		// 3 循环写出
		for(String word:words){
			k.set(word);
			context.write(k, v);
		}
	}
}

3）Reducer保持不变

import java.io.IOException;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

public class WordCountReducer extends Reducer<Text, IntWritable, Text, IntWritable>{

	IntWritable v = new IntWritable();

	@Override
	protected void reduce(Text key, Iterable<IntWritable> values,
			Context context) throws IOException, InterruptedException {
		
		int sum = 0;

		// 1 汇总
		for(IntWritable value:values){
			sum += value.get();
		}
		
         v.set(sum);

         // 2 输出
		context.write(key, v);
	}
}

5.2. Reduce输出端采用压缩

基于WordCount案例处理

1）修改驱动

import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.io.compress.BZip2Codec;
import org.apache.hadoop.io.compress.DefaultCodec;
import org.apache.hadoop.io.compress.GzipCodec;
import org.apache.hadoop.io.compress.Lz4Codec;
import org.apache.hadoop.io.compress.SnappyCodec;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class WordCountDriver {

	public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
		
		Configuration conf = new Configuration();
		
		Job job = Job.getInstance(conf);
		
		job.setJarByClass(WordCountDriver.class);
		
		job.setMapperClass(WordCountMapper.class);
		job.setReducerClass(WordCountReducer.class);
		
		job.setMapOutputKeyClass(Text.class);
		job.setMapOutputValueClass(IntWritable.class);
		
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(IntWritable.class);
		
		FileInputFormat.setInputPaths(job, new Path(args[0]));
		FileOutputFormat.setOutputPath(job, new Path(args[1]));
		
		// 设置reduce端输出压缩开启
		FileOutputFormat.setCompressOutput(job, true);

		// 设置压缩的方式
	    FileOutputFormat.setOutputCompressorClass(job, BZip2Codec.class); 
//	    FileOutputFormat.setOutputCompressorClass(job, GzipCodec.class); 
//	    FileOutputFormat.setOutputCompressorClass(job, DefaultCodec.class); 
	    
		boolean result = job.waitForCompletion(true);
		
		System.exit(result?0:1);
	}
}

2）Mapper和Reducer保持不变

具体可以参考5.1中案例所示

注：其他Hadoop相关系列文章链接由此进 -> Hadoop文章汇总

电光闪烁
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Hadoop数据压缩
sinat_36572927的博客
07-13 342
1）压缩的好处和坏处压缩的优点：以减少磁盘IO、减少磁盘存储空间。压缩的缺点：增加CPU开销。2）压缩原则（1）运算密集型的Job，少用压缩（2）IO密集型的Job，多用压缩1）压缩算法对比介绍压缩格式Hadoop自带？算法文件扩展名是否可切片换成压缩格式后，原来的程序是否需要修改DEFLATE是，直接使用DEFLATE.deflate否和文本处理一样，不需要修改Gzip是，直接使用DEFLATE.gz否和文本处理一样，不需要修改bzip2是，直接使用bzip2.bz2是和文本处理一样，不需要修改LZO否，
Hadoop 数据压缩
程序员学习圈
07-08 294
1.概述    压缩技术能够有效减少底层存储系统（HDFS）读写字节数。压缩提高了网络带宽和磁盘空间的效率。在Hadoop下，尤其是数据规模很大和工作负载密集的情况下，使用数据压缩显得非常重要。在这种情况下，I/O操作和网络数据传输要花大量的时间。还有，Shuffle与Merge过程同样也面临着巨大的I/O压力。    鉴于磁盘I/O和网络带宽是Hadoop的宝贵资源，数据压缩对于节省资源、最小化...
第四章 Hadoop数据压缩
qq_38358499的博客
06-19 180
4.1 概述 4.2 MR支持的压缩编码 4.3 压缩方式的选择 4.4 压缩参数配置 4.5 压缩案例实操
Hadoop压缩：数据压缩技术在Hadoop中的应用
本文旨在探讨Hadoop中的数据压缩技术，包括常见的压缩算法、压缩配置以及对Hadoop性能的影响，以期为使用Hadoop进行大数据处理的开发和运维人员提供有益的参考。 ## 1.3 文章结构 本文将从Hadoop概述开始，介绍...
【Hadoop篇08】Hadoop数据压缩1
08-04
Hadoop数据压缩技术 Hadoop数据压缩是指在Hadoop系统中对数据进行压缩，以减少存储空间和提高数据传输速度。压缩技术能够有效减少底层存储系统（HDFS）读写字节数，提高网络带宽和磁盘空间的效率。在 Hadoop下，...
Hadoop构建数据仓库实践1_hadoop_
10-03
同时，可以通过优化数据分区、数据压缩等手段进一步提升性能。 9. 安全与隐私：在企业环境中，数据安全和隐私保护至关重要。Hadoop提供了如Kerberos、Sentry和Hadoop Security Manager等安全机制，以保障数据的访问...
2022毕业设计，基于 Hadoop 的游戏数据分析系统源码.zip
07-06
【压缩包子文件的文件名称列表】：Hadoop-based-game-user-analysis-system-master 这个文件名暗示了项目的结构，可能包含以下关键部分： 1. **主目录**（Hadoop-based-game-user-analysis-system-master）：包含...
支持snappy压缩的hadoop2.7.2
07-11
支持snappy压缩的hadoop2.7.2，源码编译支持压缩 。
MapReduce学习整理（3）——压缩篇
博客写的好晚上睡得早
05-27 184
压缩技术能够有效减少底层存储系统（HDFS）读写字节数。压缩提高了网络带宽和磁盘空间的效率。在Hadoop下，尤其是数据规模很大和工作负载密集的情况下，使用数据压缩显得非常重要。在这种情况下，I/O操作和网络数据传输要花大量的时间。还有，Shuffle 与Merge过程同样也面临着巨大的I/O压力。
hadoop中的数据压缩
万磁王的博客
01-18 439
为什们要用压缩？ 在大数据时代，每个互联网公司在日常运营中生成、累积的用户网络行为数据。这些数据的规模是如此庞大，以至于不能用 G 或 T 来衡量。所以如何高效的处理分析大数据的问题摆在了面前。那么我们应用数据压缩的目的有两个： - 1.减少了存储文件所占空间 - 2.为数据传输提速 压缩格式 Hadoop 对于压缩格式的是自动识别。如果我们压缩的文件有相应压缩格式的扩展名（比如 l
Hadoop中的数据压缩
我的学习成长日记
03-16 5135
详细描述了在Hadoop中哪里，何时应该使用压缩。以及应该选择什么样的文件格式和压缩算法。
【Hadoop】Hadoop数据压缩
懂得一千零一种,赋予你失败的方法！
01-04 440
文章目录一、压缩概述二、压缩策略和原则三、MR支持的压缩编码四、压缩方式选择☼ Gzip压缩☼ Bzip2压缩☼Lzo压缩☼ Snappy压缩五、压缩位置选择六、压缩参数配置☼ 输入阶段☼ Mapper输出阶段☼ Reducer输出阶段七、压缩实操案例☼ 数据流的压缩和解压缩压缩案例 ---- org.apache.hadoop.io.compress.BZip2Codec压缩案例 ---- org.apache.hadoop.io.compress.GzipCodec压缩案例 ---- org.apa..
Hadoop HDFS：大数据分布式计算与压缩技术详解
Hadoop是一种开源的分布式计算框架，由Apache基金会开发，最初是为了支持大规模数据处理而设计...通过压缩技术，如DEFLATE、Gzip、bzip2和LZO，Hadoop能够优化数据存储和传输效率，使得在大规模分布式环境中更有效率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

电光闪烁

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值