大数据学习——mapreduce数据压缩（五）

最新推荐文章于 2024-12-27 09:58:36 发布
最新推荐文章于 2024-12-27 09:58:36 发布
阅读量201 收藏
点赞数
分类专栏： 大数据学习记录
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/thesuntear/article/details/108148527
版权
本文介绍了MapReduce中常用的压缩编码技术，包括如何在map端开启输出压缩以及在reduce端设置输出文件为压缩包的代码示例，帮助理解大数据处理中的数据压缩优化。
摘要由CSDN通过智能技术生成

mapreduce常用压缩编码

压缩格式 是否需要安装 文件拓展名 是否可以切分 性能 使用率
DEFAULT 无需安装，直接使用 .deflate 否
bzip2 无需安装 .bz2 是
Gzip 无需安装 .gz 否 压缩率比较高，且压缩解压缩速度很快
。linux中自带gzip命令，使用方便。由于不支持切分（split），使用时需要每个文件压缩后大小在128M（可以灵活去设置快文件大小）以内
LZO 需要安装 .lzo 是 压缩解压缩速度比较快，并且压缩率比较合理。支持split，在linux需要进行安装后使用
Snappy 需要安装 .snappy 否 压缩速度很快，并且压缩率合理 hive中使用率高

代码示例

数据压缩–map端

{
//开启map端输出压缩
conf.setBoolean

最低0.47元/天 解锁文章
conf.setClass(“mapreduce.map.output.compress.codec“, BZip2Codec.class, CompressionCodec.class)；
CSDN 精品推荐
03-15 220
在MapReduce中，conf.setClass()方法是用来设置配置参数的方法。其中mapreduce.output.fileoutputformat.compress.codec参数用来指定输出文件的压缩编码器，例如BZip2、Gzip、Snappy等。而第三个参数CompressionCodec.class是指定压缩编码器的类，它告诉MapReduce使用哪个压缩编码器对输出文件进行压缩。
大数据技术之MapReduce
悦分享
02-08 755
MapReduce是一个分布式运算程序的编程框架，是基于Hadoop的数据分析计算的核心框架。MapReduce处理过程分为两个阶段：Map和Reduce。Map负责把一个任务分解成多个任务，Reduce负责把分解后多任务处理的结果汇总。压缩技术能够有效减少底层存储系统（HDFS）读写字节数。压缩提高了网络带宽和磁盘空间的效率。在运行MR程序时，I/O操作、网络数据传输、Shuffle 和Merge要花大量的时间，尤其是数据规模很大和工作负载密集的情况下，因此，使用数据压缩显得非常重要。
MapReduce数据压缩
HR的博客
08-23 341
MapReduce数据压缩 压缩的分类 压缩格式 压缩格式 算法 文件扩展名 切分 换成压缩格式后，原来的程序是否要修改 DEFLATE 是,直接使用 DEFLATE .default 否 和文本处理一样,不需要修改 Gzip 是,直接使用 DEFLATE .gz 否 和文本处理一样,不需要修改 Bzip2 是，直接使用 Bzip2 .bz2 是 和文本处理一样,不需要修改 LZO 否，需要安装 LZO .lzo 是 要建索引和指定输入格式 Snappy 否，需要安装 S
MapReduce的Shuffle过程及Hadoop优化（包括：压缩、小文件、集群优化）？思维导图 代码示例（java 架构)
最新发布
qq_33240556的博客
12-27 297
MapReduce的Shuffle过程是MapReduce框架中一个关键阶段，它发生在Map任务完成后和Reduce任务开始前。在Shuffle过程中，Map输出的结果会根据Reduce的数量进行分区（Partition），然后排序（Sort），有时还会合并（Combine）和分组（Group）。接下来，这些数据会被传输给相应的Reducer。此外，这段代码假设您已经有了适当的Mapper和Reducer类，并且了解如何运行Hadoop作业。如果您需要更具体的代码片段，请提供更详细的需求描述。
(防坑笔记)hadoop3.0 (四)MapReduce的输入输出解析及常用数据切分方式（附带压缩）
CoffeeAndIce的博客
12-29 1130
防坑留言：     主要是对MapReduce的输入与输出进行 分析，并且能够自定义方法，同时了解其他数据切分方式 MapReduce的输入输出 输入处理类： 上图的类中为输入处理类（仅以这个为例）      InputFormat             |          FileInputFormat            |
大数据技术之Hadoop（MapReduce）框架原理、数据压缩
huxili2020的博客
06-23 825
文章目录1 MapReduce 框架原理1.1 InputFormat 数据输入1.1.1 切片与 MapTask并行度决定机制1.1.2 Job 提交流程源码和切片源码详解1.3 MapReduce 核心思想1.4 MapReduce 进程1.5 官方WordCount 源码1.6 常用数据序列化类型1.7 MapReduce 编程规范1.8 WordCount 案例实操1.8.1 本地测试1.8.2 提交到集群测试2 Hadoop 序列化2.1 序列化概述2.2 自定义 bean对象实现序列化接口（ .
大数据之Hadoop(MapReduce)：Reduce输出端采用压缩
weixin_43597208的博客
06-12 192
目录1.修改驱动2.Mapper和Reducer保持不变 基于WordCount案例处理。 1.修改驱动 package com.jinghang.mapreduce.compress; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apa
大数据学习——基础了解（一）
thesuntear的专栏
07-10 691
大数据常用软件 电脑最好16G内存，8G也可以用。5台虚拟机消耗较大，一般不用同时启动5台，但是毕竟消耗较大。一般同时启动3台。 操作系统 RedHat 7.4 64位 VMware Workstatio:14(12) 5台虚拟机 |IP |主机名（hostname）|安装组件（角色） -------- | ----- | ----- | 10.1.255.121 | bigdata121|如：nameNode 10.1.255.122 | bigdata122| 分布式是一种
大数据工具——Kylin
m0_45993982的博客
05-16 811
官网： http://kylin.apache.org/cn/ 官方文档 http://kylin.apache.org/cn/docs/ 下载地址 http://kylin.apache.org/cn/download/ 一、Kylin简介 1.Kylin概念 Kylin是一个分布式的数据仓库平台，可以将Hive中的数据同步到Kylin中进行数据分析，也可也实现多维立方体的查询，将最终结果保存到Hbase中。 Kylin的出现就是为了解决大数据系统中TB级别数据的数据分析需求，它提供Hadoop/Sp.
大数据——从零开始写MapReduce程序
3CDFP
11-08 5277
大数据—从零开始写MapReduce程序 brycezou@163.com 1、在Mac上配置Hadoop 1）安装 JAVA 1.7.0_79，用 java -version 检验是否安装成功。 2）下载 Hadoop-2.7.1，解压缩，配置环境变量。 #在 ~/.bash_profile 文件中进行配置 export HADOOP_HOME=/Users/b
MapReduce中的压缩
jsx____的博客
09-07 363
压缩 Hadoop权威指南5.2 P99 Mapper输入压缩 在有大量数据并反复处理的情况下，应考虑对输入进行压缩，然而你无需指定使用的译码方式，Hadoop会自动检测文件的扩展名，如果扩展名能够匹配，就会调用恰当的译码方式对文件进行压缩和解压。否则Hadoop不会使用任何译码器，抛异常 此阶段默认支持的格式有 org.apache.hadoop.io.compress.DefaultCodec org.apache.hadoop.io.comp
mapreduce压缩
qq_18629653的博客
10-16 210
数据压缩 hadoop源码支持的压缩格式有：BZip2Codec 、Lz4Codec、DefaultCodec 在map阶段压缩/解压缩： 要在获取job实例之前设置map压缩 Configuration configuration = new Configuration(); // 开启map端输出压缩 configuration.setBoolean(“mapreduce.map.output.compress”, true); // 设置map端输出压缩方式 configuration.setClas
MapReduce如何开启压缩算法对结果进行压缩
xiaoyuya1998的博客
11-27 1393
注:本文使用snappy算法进行压缩 内容在驱动类里面修改 方式一：在代码中进行设置压缩 设置map阶段的压缩 Configuration configuration = new Configuration(); configuration.set(“mapreduce.map.output.compress”,“true”); configuration.set(“mapreduce.map.o...
hadoop MapReduce的输出压缩算法的设置（四种方法）
统木木的博客
09-04 2880
MapReduce的过程中，一个job结束之后，会输出处理完毕的数据集，也就是reduce的处理结果。我们可以将这些结果采用指定的压缩算法输出到指定的文件夹中。 map端数据的压缩：要求是reduce从map端进行数据拉取的时候，传输速度要快，此时适合选择snappy数据压缩算法。 reduce端数据压缩：reduce端数据最终输出到HDFS上进行数据存储，要求是数据的占用空间要小，所以，可以...
MapReduce开启压缩算法对结果进行压缩
kamisamak的博客
11-19 6591
方法①:在代码中进行压缩设置 map方法添加 Configuration configuration = new Configuration(); configuration.set("mapreduce.map.output.compress","true"); configuration.set("mapreduce.map.output.compress.codec","org.apac...
【hive】如何设置hive以及MapReduce的压缩方式？
wyz0516071128的博客
07-03 1435
一、MapReduce的压缩方式的介绍压缩compress：目的是为了压缩map输出的 结果数据，减少网络IO和磁盘IO流常见的压缩算法：Snappy、Lz4,Lzo配置压缩：MapReduce ，配置 map端的输出有压缩mapreduce.map.output.compress = truemapreduce.map.output.compress.codec="org.apache.had...
MapReduce压缩
10 学习笔记
04-20 619
压缩原则 运算密集型的 Job，少用压缩 IO 密集型的 Job，多用压缩 压缩算法对比 压缩格式 Hadoop 自带 算法 文件扩展 名 是否可切片 换成压缩格式后，原来的程序是否需要修改 DEFLATE 是 DEFLATE .deflate 否 和文本处理一样，不需要修改 Gzip 是 DEFLATE .gz 否 和文本处理一样，不需要修改 bzip2 是 bzip2 .bz2 是 和文本处理一样，不需要修改 LZO 否 LZO .lzo 是 需要建索引，还需要指定输入格
Java大数据学习09--Mapreduce数据压缩介绍和配置方法
stalin_的博客
06-03 506
一、概述： 数据压缩是mapreduce的一种优化策略：通过压缩编码对mapper或者reducer的输出进行压缩，以减少磁盘IO，提高MR程序运行速度（但相应增加了cpu运算负担） 二、基本原则： 运算密集型的job，少用压缩 IO密集型的job，多用压缩 注： 1、 Mapreduce支持将map输出的结果或者reduce输出的结果进行压缩，以减少网络IO或最终输出数据的体积 2、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值