Hadoop 数据压缩

最新推荐文章于 2023-12-27 01:57:22 发布
最新推荐文章于 2023-12-27 01:57:22 发布
阅读量114 收藏 1
点赞数
分类专栏： 大数据 文章标签： 大数据 java hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mengxianglong123/article/details/119560375
版权

一、概述

1）压缩的好处和坏处

压缩的优点：以减少磁盘IO、减少磁盘存储空间。
压缩的缺点：增加CPU开销。

2）压缩原则

（1）运算密集型的Job，少用压缩
（2）IO密集型的Job，多用压缩

二、MR支持的压缩编码

1）压缩算法对比介绍

压缩格式Hadoop自带算法文件扩展名是否可切片换成压缩格式后，原来的程序是否需要修改
DEFLATE是，直接使用DEFLATE.deflate否和文本处理一样，不需要修改
Gzip是，直接使用DEFLATE.gz否和文本处理一样，不需要修改
bzip2是，直接使用bzip2.bz2是和文本处理一样，不需要修改
LZO否，需要安装LZO.lzo是需要建索引，还需要指定输入格式
Snappy是，直接使用Snappy.snappy否和文本处理一样，不需要修改

三、压缩方式选择

压缩方式选择时重点考虑：压缩/解压缩速度、压缩率（压缩后存储大小）、压缩后是否可以支持切片。

Gzip压缩

优点：压缩率比较高；
缺点：不支持Split；压缩/解压速度一般；

Bzip2压缩

优点：压缩率高；支持Split；
缺点：压缩/解压速度慢。

Lzo压缩

优点：压缩/解压速度比较快；支持Split；
缺点：压缩率一般；想支持切片需要额外创建索引。

Snappy压缩（最常用）

优点：压缩和解压缩速度快；
缺点：不支持Split；压缩率一般；

四、压缩位置选择

压缩可以在MapReduce作用的任意阶段启用。

在这里插入图片描述

五、压缩参数配置

1）为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器

压缩格式对应的编码/解码器
DEFLATEorg.apache.hadoop.io.compress.DefaultCodec
gziporg.apache.hadoop.io.compress.GzipCodec
bzip2org.apache.hadoop.io.compress.BZip2Codec
LZOcom.hadoop.compression.lzo.LzopCodec
Snappyorg.apache.hadoop.io.compress.SnappyCodec

2）要在Hadoop中启用压缩，可以配置如下参数

参数默认值阶段建议
io.compression.codecs（在core-site.xml中配置)无，这个需要在命令行输入hadoop checknative查看输入压缩Hadoop使用文件扩展名判断是否支持某种编解码器
mapreduce.map.output.compress（在mapred-site.xml中配置）falsemapper输出这个参数设为true启用压缩
mapreduce.map.output.compress.codec（在mapred-site.xml中配置）org.apache.hadoop.io.compress.DefaultCodecmapper输出企业多使用LZO或Snappy编解码器在此阶段压缩数据
mapreduce.output.fileoutputformat.compress（在mapred-site.xml中配置）falsereducer输出这个参数设为true启用压缩
mapreduce.output.fileoutputformat.compress.codec（在mapred-site.xml中配置）org.apache.hadoop.io.compress.DefaultCodecreducer输出使用标准工具或者编解码器，如gzip和bzip2

六、压缩实操案例

6.1 Map输出端采用压缩

即使你的MapReduce的输入输出文件都是未压缩的文件，你仍然可以对Map任务的中间结果输出做压缩，因为它要写在硬盘并且通过网络传输到Reduce节点，对其压缩可以提高很多性能，这些工作只要设置两个属性即可，我们来看下代码怎么设置。

1）给大家提供的Hadoop源码支持的压缩格式有：BZip2Codec、DefaultCodec

package com.atguigu.mapreduce.compress;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.io.compress.BZip2Codec;	
import org.apache.hadoop.io.compress.CompressionCodec;
import org.apache.hadoop.io.compress.GzipCodec;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class WordCountDriver {

	public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {

		Configuration conf = new Configuration();

		// 开启map端输出压缩
		conf.setBoolean("mapreduce.map.output.compress", true);

		// 设置map端输出压缩方式
		conf.setClass("mapreduce.map.output.compress.codec", BZip2Codec.class,CompressionCodec.class);

		Job job = Job.getInstance(conf);

		job.setJarByClass(WordCountDriver.class);

		job.setMapperClass(WordCountMapper.class);
		job.setReducerClass(WordCountReducer.class);

		job.setMapOutputKeyClass(Text.class);
		job.setMapOutputValueClass(IntWritable.class);

		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(IntWritable.class);

		FileInputFormat.setInputPaths(job, new Path(args[0]));
		FileOutputFormat.setOutputPath(job, new Path(args[1]));

		boolean result = job.waitForCompletion(true);

		System.exit(result ? 0 : 1);
	}
}

2）Mapper保持不变

package com.atguigu.mapreduce.compress;
import java.io.IOException;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

public class WordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable>{

	Text k = new Text();
	IntWritable v = new IntWritable(1);

	@Override
	protected void map(LongWritable key, Text value, Context context)throws IOException, InterruptedException {

		// 1 获取一行
		String line = value.toString();

		// 2 切割
		String[] words = line.split(" ");

		// 3 循环写出
		for(String word:words){
			k.set(word);
			context.write(k, v);
		}
	}
}

3）Reducer保持不变

package com.atguigu.mapreduce.compress;
import java.io.IOException;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

public class WordCountReducer extends Reducer<Text, IntWritable, Text, IntWritable>{

	IntWritable v = new IntWritable();

	@Override
	protected void reduce(Text key, Iterable<IntWritable> values,
			Context context) throws IOException, InterruptedException {
		
		int sum = 0;

		// 1 汇总
		for(IntWritable value:values){
			sum += value.get();
		}
		
         v.set(sum);

         // 2 输出
		context.write(key, v);
	}
}

6.2 Reduce输出端采用压缩

基于WordCount案例处理。
1）修改驱动

package com.atguigu.mapreduce.compress;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.io.compress.BZip2Codec;
import org.apache.hadoop.io.compress.DefaultCodec;
import org.apache.hadoop.io.compress.GzipCodec;
import org.apache.hadoop.io.compress.Lz4Codec;
import org.apache.hadoop.io.compress.SnappyCodec;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class WordCountDriver {

	public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
		
		Configuration conf = new Configuration();
		
		Job job = Job.getInstance(conf);
		
		job.setJarByClass(WordCountDriver.class);
		
		job.setMapperClass(WordCountMapper.class);
		job.setReducerClass(WordCountReducer.class);
		
		job.setMapOutputKeyClass(Text.class);
		job.setMapOutputValueClass(IntWritable.class);
		
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(IntWritable.class);
		
		FileInputFormat.setInputPaths(job, new Path(args[0]));
		FileOutputFormat.setOutputPath(job, new Path(args[1]));
		
		// 设置reduce端输出压缩开启
		FileOutputFormat.setCompressOutput(job, true);

		// 设置压缩的方式
	    FileOutputFormat.setOutputCompressorClass(job, BZip2Codec.class); 
//	    FileOutputFormat.setOutputCompressorClass(job, GzipCodec.class); 
//	    FileOutputFormat.setOutputCompressorClass(job, DefaultCodec.class); 
	    
		boolean result = job.waitForCompletion(true);
		
		System.exit(result?0:1);
	}
}

2）Mapper和Reducer保持不变

落花雨时
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop数据压缩与数据存储优化
禅与计算机程序设计艺术
07-16 531
1. 背景介绍 1.1 问题的由来 在大数据时代，数据量的爆炸性增长对数据存储和处理提出了巨大的挑战。Hadoop作为一个开源的分布式计算框架，能够有效地处理大规模数据，但是随着数据量的增长，存储和处理数据的成本也在不断增加。为了降低这些成本，数据压缩和数据存储优化成为了必要的手段。
Hadoop数据压缩
m0_58258383的博客
07-27 404
大数据时代下，数据量的存储量大大增加。应运而生的大数据平台也不断出现。数据的传递在平台中的效率与内存占用也逐渐成为一个平台是否合格的评断标准。本文将阐述hadoop数据压缩的不同方式与各方式的使用环境。...
第四章 Hadoop数据压缩
留不住斜阳的博客
06-16 651
hadoop压缩
Hadoop数据压缩、MR支持的压缩编码、压缩方式选择、压缩位置选择、压缩实操案例、Map输出端采用压缩、Reduce输出端采用压缩、Gzip压缩、Bzip2压缩、Lzo压缩、Snappy压缩
Redamancy06的博客
10-11 820
压缩的优点：以减少磁盘IO、减少磁盘存储空间。压缩的缺点：增加CPU开销。（1）运算密集型的Job，少用压缩（2）IO密集型的Job，多用压缩、压缩方式选择时重点考虑：压缩/解压缩速度、压缩率（压缩后存储大小）、压缩后是否可以支持切片、压缩可以在MapReduce作用的任意阶段启用、为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器、Snappy是和centos7.5和hadoop3.0结合使用，他是支持压缩的，如果在本地idea里面，他没有这个运行环境，他这个Snappy是不支持的、即使你的Ma
Hadoop数据压缩方式对比
weixin_38023225的博客
09-19 683
1 概述 压缩技术能够有效减少底层存储系统（HDFS）读写字节数。压缩提高了网络带宽和磁盘空间的效率。 注意：压缩特性运用得当能提高性能，但运用不当也可能降低性能。 基本原则： （1）运算密集型的job，少用压缩 （2）IO密集型的job，多用压缩 主要从压缩率，压缩解压速度，是否可切分三个方面去对比 2 MR支持的压缩编码 压缩格式 hadoop自带...
Hadoop之Hadoop数据压缩
努力努力再努力L
06-10 1667
Hadoop之Hadoop数据压缩 目录 概述 MR支持的压缩编码 Gzip压缩 Bzip2压缩 Lzo压缩 Snappy压缩 压缩位置选择 压缩参数配置 1. 概述 压缩技术能够有效减少底层存储系统（HDFS）读写字节数。压缩提高了网络带宽和磁盘空间的效率。在Hadoop下，尤其是数据规模很大和工作负载密集的情况下，使用数据压缩显得非常重要。在这种情况下，I/O操作和网络数据传输要花...
Hadoop学习---8、Hadoop数据压缩
星光不问赶路人，岁月不负有心人
05-26 903
Hadoop学习---8、Hadoop数据压缩
Hadoop 数据压缩与存储策略
最新发布
禅与计算机程序设计艺术
12-27 694
1.背景介绍 Hadoop 是一个分布式文件系统(HDFS)和分布式数据处理框架(MapReduce)的集合，它可以处理大规模数据集，并在多个节点上并行处理数据。数据压缩和存储策略是 Hadoop 的关键组成部分，它们可以帮助我们更有效地存储和处理数据。 在本文中，我们将讨论 Hadoop 数据压缩和存储策略的核心概念、算法原理、实现细节和未来发展趋势。 2.核心概念与联系 2.1 Had...
Hadoop生态圈（三十）- Hadoop数据压缩
程序园@大Null
02-09 316
Hadoop支持的压缩算法，压缩方式选择，压缩位置选择，压缩的设置方式，设置map输出数据压缩，设置reduce输出数据压缩
【Hadoop篇08】Hadoop数据压缩1
08-04
Hadoop数据压缩技术 Hadoop数据压缩是指在Hadoop系统中对数据进行压缩，以减少存储空间和提高数据传输速度。压缩技术能够有效减少底层存储系统（HDFS）读写字节数，提高网络带宽和磁盘空间的效率。在 Hadoop下，...
18_尚硅谷大数据之MapReduce_Hadoop数据压缩1
08-03
在Hadoop大数据处理环境中，数据压缩是一个重要的优化手段，它能有效地减少数据的存储空间，提高网络传输效率，尤其在面对大规模数据和高负载的工作负载时。数据压缩减少了磁盘I/O操作和网络数据传输，这有助于减轻...
hadoop数据输出压缩
09-14
在探讨Hadoop数据输出压缩这一主题时，我们深入解析了Hadoop如何通过不同的压缩格式、工具及算法来优化数据处理效率。以下是对标题、描述、标签以及部分内容中提及的关键知识点的详细阐述： ### Hadoop数据输出压缩...
Hadoop压缩实现分析
02-26
Hadoop作为一个较通用的海量数据处理平台，每次运算都会需要处理大量数据，我们会在Hadoop系统中对数据进行压缩处理来优化磁盘使用率，提高数据在磁盘和网络中的传输速度，从而提高系统处理数据的效率。在使用压缩...
Hadoop气象数据
11-08
4. **Gzip压缩**：文件扩展名“.gz”表示这些文件使用Gzip进行压缩，这是一种常见的数据压缩算法，用于减少存储空间需求并加快数据传输。 5. **MapReduce编程模型**：开发者可能使用Java编写MapReduce程序来处理...
SparkSQL 概述
热门推荐
mengxianglong123的博客
11-18 1万+
一、SparkSQL是什么 Spark SQL是Spark用于结构化数据(structured data)处理的Spark模块。 二、Hive and SparkSQL   SparkSQL的前身是Shark，给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具。   Hive是早期唯一运行在Hadoop上的SQL-on-Hadoop工具。但是MapReduce计算过程中大量的中间磁盘落地过程消耗了大量的I/O，降低的运行效率，为了提高SQL-on-Hadoop的效率，大量的SQL-o
DolphinScheduler 简介及安装部署（集群）
mengxianglong123的博客
03-12 1万+
一、 DolphinScheduler简介 1.1 DolphinScheduler概述   Apache DolphinScheduler是一个分布式、易扩展的可视化DAG工作流任务调度平台。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。 1.2 DolphinScheduler核心架构 DolphinScheduler的主要角色如下： MasterServer 采用分布式无中心设计理念，MasterServer主要负责 DAG 任务切分、任务提交、任务监控，并同时监听
ClickHouse 快速入门
mengxianglong123的博客
05-10 1万+
文章目录一、ClickHouse入门1. ClickHouse的特点1.1 列式存储1.2 DBMS的功能1.3 多样化引擎1.4 高吞吐写入能力1.5 数据分区与线程级并行二、ClickHouse的安装1. 准备工作1. 1 确定防火墙处于关闭状态1.2 CentOS取消打开文件数限制1.3 安装依赖1.4 取消SELINUX2. 单机安装(在线)三、数据类型1. 整型2. 浮点型3. 布尔型4. Decimal 型5. 字符串6. 枚举类型7. 时间类型8. 数组四、表引擎1. 表引擎的使用2. Tin
DolphinScheduler 入门操作
mengxianglong123的博客
03-12 1万+
一、安全中心配置 安全中心主要有租户管理、用户管理、告警组管理、Worker分组管理、队列管理、令牌管理等功能。安全中心只有管理员账户才有操作权限。 1.1 队列管理 此处的队列对应的是Yarn调度器的资源队列。故队列概念只对跑在Yarn上的任务类型有效。此处创建出的队列，可供后续任务进行选择。需要注意的是，在DolphinScheduler中创建队列，并不会影响到Yarn调度器的队列配置。 此处可不创建队列。 1.2 租户管理 租户对应的是Linux系统用户，是Worker执行任务使用的用户。如果Wo
Flink 部署
mengxianglong123的博客
03-26 1万+
这里需要提到 Flink 中的几个关键组件：客户端（Client）、作业管理器（JobManager）和任务管理器（TaskManager）。我们的代码，实际上是由客户端获取并做转换，之后提交给 JobManger 的。所以 JobManager 就是 Flink 集群里的“管事人”，对作业进行中央调度管理；而它获取到要执行的作业后，会进一步处理转换，然后分发任务给众多的TaskManager。这里的 TaskManager，就是真正“干活的人”，数据的处理操作都是它们来做的， 一、快速启动一个 Fli.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值