Hive学习笔记（14）- Hive数据压缩

最新推荐文章于 2023-07-24 09:21:31 发布
最新推荐文章于 2023-07-24 09:21:31 发布
阅读量227 收藏
点赞数
分类专栏： # Hive学习笔记FB 文章标签： hive 数据压缩
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012292754/article/details/86535129
版权

1 Hive 数据压缩

1.1 编译 Hadoop 2.x

  1. 安装 sanppy
  2. 编译 hadoop 2.x 源码
    mvn package -Pdist,native -DskipTests -Dtar -Drequire.snappy

2 常见的数据压缩技术

  • 压缩格式 ：bzip2,gzip,lzo,snappy
  • 压缩比： bzip2 > gzip > lzo;(bzip2 最节省存储空间)
  • 解压速度： lzo > gzip > bzip2
一角残叶
关注
专栏目录
Hive学习笔记 ---- 支持Update和Delete以及Merge
杨鑫newlife的专栏
03-18 2442
在最早2013年接触Hive的时候就总看到各种材料说着Hive有一个很大的弊端，就是分布式系统依托底层HDFS存储系统 没法对行级别的数据进行update更新和delete行级别的删除和merge行级别合并操作。 但是后来隐约的听说Hive又可以支持update和delete了，我就去做了一个调研，这里是总结的说明文档。 其中官网的WIKI中记录，开始支持行级别的update和d...
Hive学习笔记 --- 文件存储格式梳理汇总
杨鑫newlife的专栏
03-17 337
Hive支持的文件存储格式如下： Text File SequenceFile RCFile Avro Files ORC Files Parquet Custom INPUTFORMAT and OUTPUTFORMAT 其中hive.default.fileformat 配置参数确定在CREATE TABLE 或...
HIVE存储格式和压缩方式详解
weixin_46429290的博客
07-11 2403
引用：https://blog.csdn.net/yizhiniu_xuyw/article/details/113811001LZO压缩算法特点：SNAPPY压缩算法特点：尽管 Snappy 应该相当轻便，但它主要针对 64 位 x86 兼容处理器进行了优化，并且在其他环境中运行速度可能较慢。BZIP2压缩算法特点：HIVE的压缩格式压缩可以存在很多地方，在mr任务运行时候，map端溢写到磁盘，以及reduce端从磁盘中拉取文件，都有大量的IO操作，都可以设置压缩方法。设置压缩格式的参数如下所示HIVE配
Hive常见的压缩格式
pengpengsays
01-05 3876
压缩格式 Hive支持的压缩格式有bzip2、gzip、deflate、snappy、lzo等。Hive依赖Hadoop的压缩方法，所以Hadoop版本越高支持的压缩方法越多，可以在$HADOOP_HOME/conf/core-site.xml中进行配置： <property> <name>io.compression.codecs</name> <value>org.apache.hadoop.io.compress.
Hive压缩格式配置
11号车厢
08-12 958
1、文件压缩配置实现 首先你的Hadoop是需要编译安装的，参考博客：Hadoop源码编译 https://blog.csdn.net/greenplum_xiaofan/article/details/95466703 检查Hadoop支持的压缩格式： [hadoop@vm01 hadoop-2.6.0-cdh5.7.0]$ pwd /home/hadoop/source/hadoop-2.6....
Hive之压缩存储
张波的技术积累
02-02 5907
压缩存储有时候可以获得更好的性能。   使用TextFile存储时，可以使用GZIP或者BZIP2进行压缩。操作如下 CREATE TABLE raw (line STRING) ROW FORMAT DELIMITED FIELDSTERMINATED BY '\t' LINES TERMINATED BY '\n'; LOAD DATA LOCAL INPATH '/tmp/weblo
4 ，hadoop 编译 ( 照着做 )
孙砚秋的博客
06-17 170
1 ，为什么要编译 hadoop 因为 cdh 自带的 hadoop 缺少 C 程序接口，其中最重要的一个 C 程序是一个叫做 snappy 的软件，这是一款非常高效的压缩软件。 2 ，环境准备 ： 内存 4G 或以上，硬盘 40G 或以上，Centos6.9 64位的操作系统 ( 使用哪个版本的 centos 运行，就ongoing哪个版本的 centos 编译 ) 。 虚拟机联网 关闭防火...
Hive压缩
最新发布
千锋教育
07-24 167
map阶段的设置， 就是在MapReduce的shuffle阶段对mapper产生的中间结果数据压缩。在这个阶段，优先选择一个低CPU开销的算法。HQL语句最终会被编译成Hadoop的Mapreduce job,因此hive的压缩设置，实际上就是对底层MR在处理数据时的压缩设置。【千锋教育】大数据开发全套教程，史上最全面的大数据学习视频。即对reduce阶段的输出数据进行压缩设置。更多大数据精彩内容欢迎B站搜索“”或者扫码领取全套资料。
hive的压缩
a13813972564的博客
07-09 192
压缩减少网络传输量 ==hive当中使用的压缩方式是：snappy hadoop2 默认本地库不支持snappy的压缩 需要重新编译hadoop让其支持本地库的压缩 开启map的输出阶段压缩可以减少job中map和reduce task间数据传输量，具体配置如下： 案例实操： 1）开启hive中间传输数据压缩功能 hive (default)>set hive.exec.compress.intermediate=true; 2）开启mapreduce中map输出压缩功能 hive (defaul
hive学习笔记精华版
10-08
【Hive学习笔记精华版】 Hive是大数据处理领域中的一款重要工具，它基于Hadoop构建，主要用于数据仓库和数据分析。作为一个离线处理系统，Hive可以将结构化的数据文件映射成数据库表，允许用户使用类似SQL的查询...
Hive学习笔记 --- RCFile介绍
杨鑫newlife的专栏
06-01 712
Hive学习笔记 --- RCFile介绍
hive 压缩格式汇总
qq_36108146的博客
03-01 3183
今天，看了几篇hive压缩格式相关的博客觉得不错，在这里做一下提取要点汇总。 0 前言 数据做压缩和解压缩会增加CPU的开销，但可以最大程度的减少文件所需的磁盘空间和网络I/O的开销，所以最好对那些I/O密集型的作业使用数据压缩，cpu密集型，使用压缩反而会降低性能。 而hive中间结果是map输出传给reduce，所以应该使用低cpu开销和高压缩效率，一般最好使用sn...
Hive_Hive 中的数据压缩
迎难而上
07-19 7674
  最近读完了 《Hive编程指南》。回过头来对书中的知识点做一总结。          Hive 中的数据压缩 体现在 2个方面， 一个是 job 最终执行结果的数据压缩，另一个方面是计算中间结果的数据压缩。   参考文章： hive 的几种存储格式 https://blog.csdn.net/jinfeiteng2008/article/details/56665804   ...
01-SNAP与snappy介绍及安装
热门推荐
lidahuilidahui的博客
08-20 4万+
SNAP与snappy介绍及安装前言 （原创文章，转载请注明来源，谢谢！） 前言
Hive实战技术：使用TextFile格式可以直接使用gzip或bzip2压缩
石榴姐yyds
11-29 2703
数据压缩存储 可以将使用Gzip或Bzip2压缩的文本文件直接导入存储为TextFile的表中。压缩将被自动检测到，并且文件将在查询执行期间实时解压缩. 例如: CREATE TABLE raw (line STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\n'; LOAD DATA LOCAL INPATH '/tmp/weblogs/20090603-acc...
Snappy Java API简介
cjf_wei的博客
06-09 1万+
Snappy是Google开源的压缩/解压缩库。和其他压缩库相比，snappy的压缩率并不是最高的，兼容性也并非最好的。相反，它的诞生旨在以极高的压缩/解压缩速率提供合理的压缩率。Snappy官指出：在64位单核core-i7处理器下，snappy的压缩率能够达到250MB/S，而解压缩速度则能达到500MB/S。目前很多软件使用（或支持）snappy作为压缩库，如MongoDB,Cassandr...
配置Snappy压缩
人是有思想的芦苇
07-23 1万+
1. 功能说明使用snappy压缩来提升mapreduce和hbase的性能。其实就是用CPU换IO吞吐量和磁盘空间。配置并使用snappy有如下几点要求： 首先需要hadoop集群的native库已经收到编译好，并且添加了对snappy的支持。编译hadoop源码之前安装了snappy并且编译时指定-Drequire.snappy参数。
Hive 数据压缩格式总结
程序员小陶的大数据分享
12-13 1533
精选30+云产品，助力企业轻松上云！>>> ...
阿里B2B-ICBU Hive学习笔记：数据仓库与Hadoop详解
Hive学习笔记是阿里巴巴B2B-ICBU数据应用部门针对Hive这一大数据处理框架的详细学习资料。Hive作为基于Hadoop的数据仓库基础设施，为大规模数据的存储、查询和分析提供了便利。它设计了一种类SQL的语言——HiveQL，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值