hive优化-压缩处理

最新推荐文章于 2023-07-24 09:21:31 发布
最新推荐文章于 2023-07-24 09:21:31 发布
阅读量540 收藏
点赞数
分类专栏： Hive实战 文章标签： Hive 压缩
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tian_qing_lei/article/details/77484735
版权
[压缩]
1.设置mr中间的压缩处理
//设置中间结果是否可压缩,多次job的中间结果是否压缩处理。
SET hive.exec.compress.intermediate=true
//设置结果压缩编解码器
SET hive.intermediate.compression.codec=org.apache.hadoop.io.compress.SnappyCodec


//是否控制最终job的输出压缩
SET hive.exec.compress.output=true
//设置输出压缩编解码器
SET mapred.output.compression.codec=org.apache.hadoop.io.compress.SnappyCodec
SET mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec


Compression_Codec
最低0.47元/天 解锁文章
缘定三石
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hive 优化案例1: Hive 压缩
qq_20519927的博客
06-07 150
MapReduce 支持的压缩编码 压缩格式 是否可切分 DEFAULT 否 Gzip 否 bzip2 是 LZO 是 Snappy 否 压缩参数配置 输入端压缩 io.compression.codecs org.apache.hadoop.io.compress.DefaultCodec, org.apache.hadoop.io.compress.GzipCodec, org.apache.hadoop.io.compress.BZip2C
hive压缩优化-01
Niki20034655的博客
01-23 191
压缩优化 --查看hive支持的压缩类型 set io.compression.codecs; --开启hive中间压缩,对于hadoop job的是mapred.compress.map.output，并设置压缩为snappy压缩 set hive.exec.compress.intermediate=true; mapred.map.output.compression.code...
Hive压缩优化 - 压缩格式
全球失控
12-17 389
在生产环境中，随着平台数据量的不断增大，数据的存储面临着一定的挑战，除了能够横向扩展存储集群存储能力 外，还可以通过压缩技术减少文件的大小。 GZip 和 BZip2压缩格式是所有最近的hadoop版本支持的，linux本地的库也支持这种格式的压缩和解压缩。 压缩比：Snappy：50% lz4:50% lzo:48% gzip:31% bzip:27% 压缩时间从快到慢排序：Snapp...
Hive中数据压缩（企业优化）
Yukaola的博客
04-06 505
二 、配置mapreduce和hive中使用snappy压缩        将snappy解压，将Lib下的native复制到hadoop下的lib  1、 实际就是对mapreduce过程中数据进行压缩2、hadoop支持的压缩格式3、在mapreduce中设置压缩4、在hive中设置压缩5、数据文件格式       数据存储 * 按行存储数据：TEXTFILE      * 按列存储数据:  ...
MR案例：MR和Hive中使用Lzo压缩
weixin_30950887的博客
08-28 241
在MapReduce中使用lzo压缩 　1).首先将数据文件在本地使用lzop命令压缩。具体配置过详见配置hadoop集群的lzo压缩 //压缩lzop,解压缩lzop -d [root@ncst word]# lzop words.txt [root@ncst word]# ls words.txt words.txt.lzo 　2).将lzo文件上传到hdfs [...
hive-exec-2.1.1.jar
04-14
同时，Hive的性能可以通过优化元数据、分区策略、并行执行、压缩等方式进一步提升。 总的来说，理解Hive及其相关组件的工作原理，以及如何解决特定问题，对于大数据分析师和数据工程师来说至关重要。正确配置和使用...
apache-hive-3.1.2-bin.tar.gz
06-24
Hive 3.1.2 是其稳定版本之一，提供了许多性能优化和新功能。 标题中的"apache-hive-3.1.2-bin.tar.gz"表明这是一个Hive 3.1.2的二进制发行版，以tar.gz格式压缩。这种压缩包通常包含Hive的可执行文件、库文件、...
hive-1.1.0-cdh5.7.0.tar.gz.rar
08-21
Hive，作为Apache Hadoop生态系统中的一个组件，提供了一种基于SQL的接口来处理和管理大规模数据集，使得非程序员也能方便地进行大数据分析。在CDH（Cloudera Distribution Including Apache Hadoop）5.7.0版本中，...
apache-hive-2.3.9，linux安装包
05-06
Apache Hive 是一个基于Hadoop的数据仓库工具，它允许用户通过SQL-like的...在实际操作中，你可能还需要配置Hadoop的HDFS、YARN等组件，以及优化Hive的性能设置，如分区策略、桶表、压缩编码等，以适应你的特定需求。
cloudera-hive-cdh6.3.2源码包
07-28
在 CDH（Cloudera Distribution Including Apache Hadoop）6.3.2 版本中，Hive 已经发展到了一个成熟的阶段，提供了更高效、稳定的数据处理能力。下面我们将对 `cloudera-hive-cdh6.3.2` 源码包中的关键组件和技术...
Hive压缩说明
xsdxs的博客
11-13 8539
Hive压缩使用
Hive 压缩种类介绍 常用压缩参数 hive.exec.compression.intermediate 中间压缩 压缩优化
是个好男人的博客
12-13 2619
1.Hive压缩 尽管Hadoop的文件系统支持对于非压缩数据的线性扩展存储，但是对数据进行压缩还是有很多好处的。压缩通常能节约磁盘空间。压缩同样可以增加吞吐量和性能。压缩和解压缩会增加额外的CPU开销，不过，通过减少载入内存的数据量而提高I/O吞吐量会更加提高网络传输性能。 Hadoop的job通常是I/O密集型而不是CPU密集型的。如果是这样的话，压缩可以提高性能。不过如果用户的job是CPU密集型的话，那么使用压缩可能会降低执行性能。确定是否进行压缩的唯一方法就是尝试不同的选择，并测量对...
hive压缩
weixin_38251332的博客
02-22 2685
Hadoop压缩数据流程 hadoop中有三个阶段可以用到压缩，分别是Map，Shuffle和Reduce，其中Map阶段首先对输入的数据进行压缩，然后在Map的job中进行解压并对数据进行业务处理，将结果写入磁盘的时候进行数据的压缩，Shuffle的过程中将磁盘中压缩的文件内容读取出来，然后传递给Reduce，Reduce中对数据再进行解压并做业务处理，整个过程都计算完毕后再用压缩对输出进行压缩。其数据流程可以用下面的流程表示： 压缩的输入文件->(解压数据)->Maps->压缩输
记录一下Hive中间和最终结果压缩
小桥
04-26 1368
中间Lzo,最终Gzip   Java代码   set mapred.output.compress = true;   set mapred.output.compression.codec = org.apache.hadoop.io.compress.GzipCodec;   set mapred.output.compression.type = BLOC
Hive压缩
最新发布
千锋教育
07-24 135
map阶段的设置， 就是在MapReduce的shuffle阶段对mapper产生的中间结果数据压缩。在这个阶段，优先选择一个低CPU开销的算法。HQL语句最终会被编译成Hadoop的Mapreduce job,因此hive的压缩设置，实际上就是对底层MR在处理数据时的压缩设置。【千锋教育】大数据开发全套教程，史上最全面的大数据学习视频。即对reduce阶段的输出数据进行压缩设置。更多大数据精彩内容欢迎B站搜索“”或者扫码领取全套资料。
Hive ---- 文件格式和压缩
在人间负债^
05-30 2950
为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器，如下表所示：Hadoop查看支持压缩的方式hadoop checknative。Hadoop在driver端设置压缩。
Hive编程(十一)【其他文件格式和压缩方法】
极客神殿
12-01 1140
11.1 确定安装编解码器# hive -e "set io.compression.codecs" io.compression.codecs=org.apache.hadoop.io.compress.GzipCodec, org.apache.hadoop.io.compress.DefaultCodec, org.apache.hadoop.io.compress.BZip2Codec
hive压缩的配置
lijian972的博客
03-28 2023
hive压缩的配置
Hive之——其他文件格式和压缩方法
冰河的专栏
03-12 1823
转载请注明出处：https://blog.csdn.net/l1028386804/article/details/88430637 确定安装编解码器 Hive中可以通过set命令查看Hive配置文件中或Hadoop配置文件中配置的值。 hive -e "set io.compression.codec" 开启中间压缩 对中间数据进行压缩可以减少job中map和reduce task间的数...
hive_performance_tuning-HDP3.1.0.pdf
07-19
在Apache Hive Performance Tuning中，针对HDP 3.1.0版本，本文档提供了优化Hive数据仓库性能的策略和技巧。Hive是大数据处理领域的一个重要组件，常用于执行SQL查询在Hadoop上存储的数据。以下是一些关键点： 1. *...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值