大数据开发之Hadoop压缩

最新推荐文章于 2018-12-11 15:33:40 发布
最新推荐文章于 2018-12-11 15:33:40 发布
阅读量242 收藏
点赞数
分类专栏： Hadoop HDFS
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34382453/article/details/84942177
版权
Hadoop 同时被 2 个专栏收录
15 篇文章 1 订阅
订阅专栏
HDFS
2 篇文章 0 订阅
订阅专栏

摘要：

  在大数据应用中，首先需要考虑的问题就是如何存储大量数据(HDFS)。通常情况下，我们会将每天产生的生产日志文件存储到HDFS中，久而久之会占用大量磁盘空间。而压缩技术可以大大减少数据文件对于磁盘的占用。而且在读写HDFS的时候，可以减少磁盘和网络的IO，提高MapReduce作业的效率。但是，压缩也会在一定程度上增加CPU的消耗，所以在使用压缩的时候应该综合考虑，合理使用。

注意： 压缩特性运用得当能提高性能，但运用不当也可能降低性能。
基本原则：
（1）运算密集型的 job，少用压缩
（2） IO 密集型的 job，多用压缩

一、MR支持的压缩

在这里插入图片描述
为了支持多种压缩/解压缩算法， Hadoop 引入了编码/解码器，如下表所示
在这里插入图片描述
压缩性能的比较
在这里插入图片描述

二、压缩方式的选择

1、Gzip 压缩
优点：压缩率比较高，而且压缩/解压速度也比较快； hadoop 本身支持，在应用中处理gzip 格式的文件就和直接处理文本一样；大部分 linux 系统都自带 gzip 命令，使用方便。

缺点：不支持 split。

应用场景： 当每个文件压缩之后在 130M 以内的（1 个块大小内），都可以考虑用 gzip压缩格式。 例如说一天或者一个小时的日志压缩成一个 gzip 文件，运行 mapreduce 程序的时候通过多个 gzip 文件达到并发。 hive 程序， streaming 程序，和 java 写的 mapreduce 程序完全和文本处理一样，压缩之后原来的程序不需要做任何修改。

2、Bzip2 压缩
优点：支持 split；具有很高的压缩率，比 gzip 压缩率都高； hadoop 本身支持，但不支持 native；在 linux 系统下自带 bzip2 命令，使用方便。

缺点：压缩/解压速度慢；不支持 native。

应用场景： 适合对速度要求不高，但需要较高的压缩率的时候，可以作为 mapreduce 作业的输出格式； 或者输出之后的数据比较大，处理之后的数据需要压缩存档减少磁盘空间并且以后数据用得比较少的情况；或者对单个很大的文本文件想压缩减少存储空间，同时又需要支持 split，而且兼容之前的应用程序（即应用程序不需要修改）的情况。

3、Lzo 压缩
优点：压缩/解压速度也比较快，合理的压缩率；支持 split，是 hadoop 中最流行的压缩格式；可以在 linux 系统下安装 lzop 命令，使用方便。

缺点：压缩率比 gzip 要低一些； hadoop 本身不支持，需要安装；在应用中对 lzo 格式的文件需要做一些特殊处理（为了支持 split 需要建索引，还需要指定 inputformat 为 lzo 格式）。

应用场景： 一个很大的文本文件，压缩之后还大于 200M 以上的可以考虑，而且单个文件越大， lzo 优点越越明显。

4、Snappy 压缩
优点：高速压缩速度和合理的压缩率。

缺点：不支持 split；压缩率比 gzip 要低； hadoop 本身不支持，需要安装；

应用场景： 当 Mapreduce 作业的 Map 输出的数据比较大的时候，作为 Map 到 Reduce的中间数据的压缩格式；或者作为一个 Mapreduce 作业的输出和另外一个 Mapreduce 作业的输入。

三、MR过程中压缩位置选择

在这里插入图片描述

四、启用压缩的配置

1、core-site.xml

 <property>
        <name>io.compression.codecs</name>
        <value>
        org.apache.hadoop.io.compress.GzipCodec,
        org.apache.hadoop.io.compress.DefaultCodec,
        org.apache.hadoop.io.compress.BZip2Codec,
          com.hadoop.compression.lzo.LzoCodec,
          org.apache.hadoop.io.compress.Lz4Codec,
        org.apache.hadoop.io.compress.SnappyCodec
        </value>
    </property>

这里我将所需要的所有压缩方式都添加进去了，大家可根据自己需要进行增删。

2、mapred-site.xml
这里以BZip2为例，第一个参数为打开压缩。

<property>
    <name>mapreduce.output.fileoutputformat.compress</name>
    <value>true</value>
</property>

<property>
    <name>mapreduce.output.fileoutputformat.compress.codec</name>
    <value>org.apache.hadoop.io.compress.BZip2Codec</value>
</property>

五、总结

  在实际使用中，我们可以设置map和reduce的压缩参数，具体参考hadoop官网mapred-defalult.xml。
  如果是在hive中使用压缩，我们设置压缩格式或者其他参数，可以用在hive交互窗口使用set key=value这种格式。查看某个参数的值是set key。
如查看输出是否支持压缩：set hive.exec.compress.output=true，就是允许输出使用压缩输出。

夏至1208
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Hive统计TopN问题
qq_34382453的博客
10-29 2869
这里模拟一个统计每个区域最受关注的top3的产品业务需求，并模拟生成3张表，分别为城市表city_info，产品表product_info，用户点击行为表user_click。所用的工具有HDFS，HIVE，SQOOP，MYSQL。
Hadoop HA高可用集群搭建测试
qq_34382453的博客
11-29 1877
摘要   在Hadoop2.0之前，只有一个NameNode，若NameNode机器出现故障，那么整个集群都无法使用。这个架构存在单点故障的隐患。之后推出了HA的架构，即有两个NameNode，一台为active状态，一台为standby状态。active NameNode对外提供服务，standby实时同步了active NameNode的元数据，当active NameNode节点出现故障，s...
大数据开发--hadoop压缩 snappy测试
qq_34382453的博客
12-10 1430
摘要：   我们用Apache或者CDH下载下来的hadoop安装包来安装hadoop是不支持snappy压缩的，我们可以查看$HADOOP_HOME/lib/native,最开始里面是空的。或者执行hadoop checknative -a来查看支持的压缩，发现压缩格式基本都是false。如果要用snappy压缩，需要重新编译hadoop。下面我们来编译hadoop。 一、编译准备 部署JAV...
Yarn的工作流程（mr提交应用程序）
qq_34382453的博客
10-16 1337
Yarn的工作流程如下图： 1、 用户向Yarn提交应用程序，其中包括ApplicationMaster程序、启动ApplicationMaster的命令、用户程序等。 2、ResourceManager为该程序分配第一个Container,并与对应的NodeManager通信，要求它在对应的Container中启动应用程序的ApplicationMaster。 3、ApplicationMas...
pid文件
qq_34382453的博客
10-15 1151
pid pid就是hadoop相关进程的进程号 默认存储在/tmp目录下，如图： 因为linux tmp目录会定期清理文件 如果将pid文件设置在tmp目录下 pid文件会被删除，注意：pid文件被删除不会影响当前进程的正常运行，但是会影响停止和重启该进程 停止会找不到进程 重启会重新启动一个新的进程 造成进程号紊乱 如果遇到这种情况 可先强制杀死进程，再重新启动进程 建议不要将pid文件位置设...
大数据开发--hadoop存储格式
qq_34382453的博客
12-11 692
行式存储与列式存储   在介绍hive存储格式之前，我们先来了解一下行式存储与列式存储的区别。 1、行式存储 优点：   一条数据就是一行，比较符合面向对象的思维，所有信息都放在一起。这种存储格式可以很方便的进行insert/update操作。 缺点： a、如果只需要查询几个列的数据，它会读取所有的列的数据，而不能跳过不需要的列。一般在数据量比较大的时候性能影响比较明显。 b、由于每一行中有很多不...
大数据开发--hadoop压缩 lzo测试
qq_34382453的博客
12-11 575
摘要：   lzo并不是linux系统原生支持，所以需要下载安装软件包。这里至少需要安装3个软件包：lzo, lzop, hadoop-gpl-packaging。gpl-packaging的作用主要是对压缩的lzo文件创建索引，否则的话，无论压缩文件是否大于hdfs的block大小，都只会按照默认启动2个map操作。 一、安装lzop native library &gt; wget http...
JPS命令
qq_34382453的博客
10-14 567
什么是jps jps(Java Virtual Machine Process Status Tool)是JDK 1.5提供的一个显示当前所有java进程pid的命令，简单实用，非常适合在linux/unix平台上简单察看当前java进程的一些简单情况。 jps位于JDK的bin目录下，其作用是显示当前系统的java进程情况及其id号。 jps相当于Solaris进程工具ps。不像”pgrep j...
Yarn调优
qq_34382453的博客
10-25 321
1 什么是yarn Yarn是Hadoop2.0中的资源管理系统，它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster，其中ResourceManager负责整个系统的资源管理和分配，而ApplicationMaster负责单个应用程序的管理。 Yarn主要由Resou...
HDFS写文件流程
qq_34382453的博客
10-15 293
HDFS写入文件流程图如下： 1 客户端调用Distributed FileSystem.create(path)方法，与NameNode进行RPC通信，参数为路径path。检查传入的路径是否存在，以及当前用户是否有写入权限。 假如都满足，就创建一个新的文件，但是此时并不关联任何的block。并且返回FsDataOutputStream对象。 如果有一个不满足，返回错误信息。 注意：写文件调用对...
HDFS架构详解
qq_34382453的博客
10-14 276
HDFS：伪分布式 1 block块 参数为 dfs.blocksize 默认为128M 例如： 1个文件130M，存在HDFS上存储为两个块 一个128M 一个2M 2 副本数 指的是一个块存在的复制数量 参数为：dfs.replication 默认为3 面试题： 一个文件160M，副本数为2，块大小为128M。 实际存储空间是多少？ 块数量是多少？ 答：一共4个块 实际存储为320M 3 HD...
Hadoop伪分布式部署
qq_34382453的博客
09-27 174
Hadoop三个组件 # HDFS 分布式文件存储系统(底层、生产) # MapReduce 分布式计算框架(基于磁盘，速度慢，shuffle) # Yarn 资源(内存+core)+作业(job)调度管理系统(生产) 企业一般不选择原生Apace Hadoop部署，而是选用CDH,Ambari,Hdp部署。 CDH： cloudera公司 将Apache hadoop-2.6.0源代码 修复b...
HDFS读文件流程
qq_34382453的博客
10-16 134
HDFS读文件流程图如下: 1、client通过FileSystem.open(path)方法，去与NN进行RPC通信，NN会校验传入的路径是否存在，用户是否有权限访问该路径下的文件。 2、校验完成后，返回部分或者全部的block列表。其实就是返回FSDataInputStream对象。 3、client调用FSDataInputStream的read()方法 a 去第一个块的最近的DataNo...
pi_heif-0.17.0-pp310-pypy310_pp73-macosx_12_0_x86_64.whl
07-27
pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。
mmexport1722080103662.jpg
07-27
mmexport1722080103662.jpg
matlab 20244a 6
07-27
matlab 20244a 6
pi_heif-0.17.0-cp310-cp310-macosx_12_0_x86_64.whl
最新发布
07-27
pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。
pillow-10.4.0-cp312-cp312-musllinux_1_2_aarch64.whl
07-27
基本介绍 名称与起源：Pillow，原名为PIL（Python Imaging Library），但PIL只支持Python 2版本。随着Python 3的普及，Pillow作为PIL的一个分支出现，兼容Python 3并提供更多的功能和改进。 主要功能：Pillow支持多种图像格式的打开、保存、显示以及基本的图像操作和处理，如裁剪、缩放、旋转、翻转、滤镜应用等。 跨平台性：Pillow库可以在不同的操作系统上运行，包括Windows、Linux和MacOS等。 主要功能模块 Pillow库包含多个功能模块，每个模块都提供了特定的图像处理功能。以下是一些常用的模块： Image：用于处理图像文件，提供打开、保存、调整大小、旋转、裁剪、滤镜等功能。 ImageDraw：提供在图像上绘制各种形状（如线条、矩形、圆形）和文本的功能。 ImageFont：用于加载和使用TrueType字体文件，以便在图像上绘制文本时设置字体样式、大小和颜色。 ImageFilter：提供各种滤镜效果，如模糊、锐化、边缘增强等，用于图像增强、特效处理和图像识别等应用。 ImageEnhance：用于调整图像的亮度、对比度、颜色饱和度等参数，使图像更加清晰、明亮或具有特定的调色效果。 高级功能 除了基本的图像处理功能外，Pillow还支持一些高级功能，如色彩空间转换、直方图均衡化等。这些功能可以帮助用户进行更复杂的图像处理和分析。
淘宝大数据技术实践：Hadoop与Hive调优指南
"《开发和优化高效的Hadoop & Hive 程序》是关于大数据处理领域的一本深度实践书籍，主要讲述了淘宝如何运用Hadoop和Hive进行大数据处理，并提供了详细的调优策略和技术要点。" 在大数据处理领域，Hadoop和Hive是两...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值