hive压缩的配置

已于 2022-04-18 18:50:52 修改
阅读量2k 收藏 1
点赞数
分类专栏： hive压缩配置 文章标签： hive
于 2022-03-28 09:10:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lijian972/article/details/123786732
版权

#博学谷IT学习技术支持#

map中间结果压缩配置:

建议: 在hive的会话窗口配置
hive.exec.compress.intermediate: 是否hive对中间结果压缩

以下两个建议直接在cm上yarn的配置目录下直接配置
mapreduce.map.output.compress : 是否开启map阶段的压缩
mapreduce.map.output.compress.codec : 选择什么压缩方案
	推荐配置:
		org.apache.hadoop.io.compress.SnappyCodec

reduce最终结果压缩配置:

建议: 在hive的会话窗口配置
hive.exec.compress.output: 是否开启对hive最终结果压缩配置

以下两个建议直接在cm上yarn的配置目录下直接配置
mapreduce.output.fileoutputformat.compress: 是否开启reduce端压缩配置
mapreduce.output.fileoutputformat.compress.codec: 选择什么压缩方案
	推荐配置:
		org.apache.hadoop.io.compress.SnappyCodec
mapreduce.output.fileoutputformat.compress.type : 压缩方案
	推荐配置:
		BLOCK

说明:
如果hive上没有开启压缩, 及时配置MR的压缩, 那么也不会生效

lijian972
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hive2.1.1压缩配置_完整版
07-13 172
Map输出压缩 除了创建表时指定保存数据时压缩，在查询分析过程中，Map的输出也可以进行压缩。由于map任务的输出需要写到磁盘并通过网络传输到reducer节点，所以通过使用LZO、LZ4或者Snappy这样的快速压缩方式，是可以获得性能提升的，因为需要传输的数据减少了。 MapReduce配置项： mapreduce.map.output.compress 设置是否启动map输出的压缩机制，默认为false。在需要减少网络传输的时候，可以设置为true。 mapreduce.map.output.
hive的压缩配置
A_sensen的博客
06-28 256
在数据量特别大的情况下，数据来自hive的MapReduce查询， 发现效率特别慢在hive上使用insert overwrite local directory "XXX" select将数据导入到本地的HDFS上时直接报错， 那么我那么就需要在hive和hadoop上配置压缩方式 在执行hive的类sql语句之前，需开启一下配置 2.对hive开启以下配置 设置开启hive的压缩 se...
关于hive数据压缩
weixin_30814319的博客
12-19 250
一、优缺点 优点： 1，减少存储磁盘空间，降低单节点的磁盘IO。 2，由于压缩后的数据占用的带宽更少，因此可以加快数据在Hadoop集群流动的速度。例如在不同节点创建3个replica的阶段，或是shuffle阶段。 缺点： 需要花费额外的时间/CPU做压缩和解压缩计算 二、几种常见的压缩对比 三、压缩分析 ...
hive压缩配置
zj360202的专栏
08-07 684
在代码中加载
Hive/Hadoop压缩优化配置
ChengYanan的博客
04-28 273
1.MR支持的压缩编码 MR支持的压缩编码 为了支持多种压缩算法，Hadoop引入了编码、解码器，如下表所示： 编码解码器 压缩性能的比较： 压缩性能比较 http://google.github.io/snappy/ On a single core of a Core i7 processor in 64-bit mode, Snappy compresse...
hive如何去安装与配置
最新发布
04-19
访问Apache官方网站下载最新版本的Hive，解压缩到指定目录。例如，可以将Hive解压到`/usr/local`目录下，并创建一个软链接方便管理： ```bash tar -zxvf apache-hive-x.x.x-bin.tar.gz -C /usr/local/ ln -s /usr/...
hive安装配置
08-21
### Hive安装配置详解 #### 一、部署环境 在进行Hive的安装配置之前，我们需要了解部署环境的要求。本文档的部署环境为CentOS 6操作系统搭配Hadoop 2.2版本以及Hive 0.12.0版本。确保这些软件版本之间的兼容性对于...
Hadoop集群搭建Hive的安装配置
12-23
接着解压缩Hive的软件包到`hive`目录。 3. 配置环境变量，编辑`~/.bash_profile`文件，在文件末尾添加Hive的相关路径，例如`HIVE_HOME`和`PATH`。 4. 使环境变量生效，并检查是否成功设置。 5. 复制Hive的配置...
hive配置说明
10-16
### Hive配置参数详解 #### 一、概述 Hive 是一款基于 Hadoop 的数据仓库工具，可以帮助对在存储在 Hadoop 文件系统中的数据集进行数据整理、特殊查询和分析存储。为了更好地管理和优化Hive查询的性能，了解并合理...
Hive-1.2.1-hwi配置
11-05
### Hive-1.2.1-hwi配置详解 #### 一、概述 Hive是一款基于Hadoop的数据仓库工具，它可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能，使得Hadoop能够更好地处理大数据。在Hive 1.2.1版本中，引入...
Hive 压缩和存储
Da.的博客
06-18 865
1 Hadoop 源码编译支持 Snappy 压缩 1 资源准备 1） CentOS 联网 配置 CentOS 能连接外网。 Linux 虚拟机 ping www.baidu.com 是畅通的 注意： 采用 root 角色编译，减少文件夹权限出现问题 2） jar 包准备(hadoop 源码、 JDK8 、 maven、 protobuf) （1） hadoop-2.7.2-src.t...
Hive压缩格式配置
11号车厢
08-12 952
1、文件压缩配置实现 首先你的Hadoop是需要编译安装的，参考博客：Hadoop源码编译 https://blog.csdn.net/greenplum_xiaofan/article/details/95466703 检查Hadoop支持的压缩格式： [hadoop@vm01 hadoop-2.6.0-cdh5.7.0]$ pwd /home/hadoop/source/hadoop-2.6....
Hive之配置使用snappy压缩
TomAndersen的博客
05-28 3036
前言 操作系统：CentOS 7 hadoop：2.7.7 hive：2.3.0 Hive中配置snappy压缩，可以分别在Mapper输出阶段和Reducer输出阶段使用压缩算法。也可以将压缩后数据文件加载到表中用于查询，Hive会通过后缀名自动识别对应的压缩格式，并在查询时进行解压，但需要保持数据文件和表格式相同，否则只会显示结果全为NULL 查看本机目前可供Hadoop使用的压缩算法 使用以下命令，可以查看是否有相应压缩算法的库，如果显示为false，则需要额外安装（CentOS
hive启用压缩
weixin_33709219的博客
06-26 124
<property> <name>hive.exec.compress.intermediate</name> <value>true</value></property><property> <name>mapreduce.map.output.compress</
Hive的数据压缩:开启Map输出阶段压缩，开启Reduce输出阶段压缩
11-28 4821
开启Map输出阶段压缩 开启map输出阶段压缩可以减少job中map和Reduce task间数据传输量。具体配置如下： 案例实操： 1）开启hive中间传输数据压缩功能 hive (default)>set hive.exec.compress.intermediate=true; 2）开启mapreduce中map输出压缩功能 hive (default)>set mapredu...
Hive数据压缩笔记
热门推荐
cnbird's blog
06-26 1万+
Hive数据压缩 本文介绍Hadoop系统中Hive数据压缩方案的比较结果及具体压缩方法。 一、压缩方案比较 关于Hadoop HDFS文件的压缩格式选择，我们通过多个真实的Track数据做测试，得出结论如下： 1.  系统的默认压缩编码方式 DefaultCodec 无论在压缩性能上还是压缩比上，都优于GZIP 压缩编码。这一点与网上的一些观点不大一致，网上不少人认为GZIP的压缩比要高
hive添加压缩
西瓜追随螃蟹的脚步
08-18 638
hive在存储数据时会对HDFS上的数据做映射，在MYSQL中仅仅存储的是
16hive压缩以及配置
hao难懂的博客
08-18 193
一、Hadoop源码编译支持snappy压缩 （可省略查看）（可按照“17”中的“1.修改*”来配置，无需自己编译） 1.资源准备(jar包) (1)hadoop-2.7.2-src.tar.gz (2)jdk-8u144-linux-x64.tar.gz (3)snappy-1.1.3.tar.gz (4)apache-maven-3.0.5-bin.tar.gz (5)protob...
hive如何开启输出阶段压缩
xiaoyuya1998的博客
11-28 1317
开启Map输出阶段压缩 开启map输出阶段压缩可以减少job中map和Reduce task间数据传输量。具体配置如下： 开启hive中间传输数据压缩功能 set hive.exec.compress.intermediate=true; 开启mapreduce中map输出压缩功能 set mapreduce.map.output.compress=true; 设置mapreduce中map输出数...
hive配置lazo压缩
05-17
要在Hive中启用LZO压缩，您需要完成以下步骤： 1. 将LZO实用程序和库文件安装在所有Hadoop节点上。您可以使用以下命令安装LZO： ``` sudo apt-get install lzop liblzo2-dev ``` 2. 下载并安装Hadoop LZO库。您可以从GitHub上克隆官方的Hadoop LZO存储库： ``` git clone https://github.com/twitter/hadoop-lzo.git cd hadoop-lzo ``` 3. 构建Hadoop LZO库并将其安装到Hadoop中： ``` export CFLAGS="$CFLAGS -fPIC" ./configure --with-hadoop=$HADOOP_HOME make sudo make install ``` 4. 修改Hadoop配置文件，以便它能够找到LZO库： 在`$HADOOP_HOME/etc/hadoop`目录下打开`hadoop-env.sh`文件，并添加以下行： ``` export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/lib ``` 5. 在Hive中启用LZO压缩。您可以在创建Hive表时使用以下命令启用LZO压缩： ``` CREATE TABLE mytable ( col1 STRING, col2 INT ) STORED AS RCFILE TBLPROPERTIES ('mapred.output.compress'='true', 'mapred.output.compression.type'='BLOCK', 'mapred.output.compression.codec'='com.hadoop.compression.lzo.LzopCodec'); ``` 这将创建一个名为mytable的Hive表，并使用LZO压缩存储它的数据。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值