Hive教程（八）---压缩和存储

最新推荐文章于 2023-03-15 17:46:14 发布
最新推荐文章于 2023-03-15 17:46:14 发布
阅读量370 收藏
点赞数
分类专栏： Hive2.3+ 从入门到实战
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/silentwolfyh/article/details/106150746
版权
本文详细介绍了如何在Hadoop中编译源码支持Snappy压缩，包括资源准备、JDK与Maven的安装，以及源码编译过程。接着讨论了Hadoop的压缩配置，如MR的压缩编码和参数设置。此外，文章还探讨了开启Map和Reduce阶段的压缩，并详细对比了行式存储和列式存储（如TextFile、ORC、Parquet）的优缺点。最后，文章通过实验展示了存储和压缩结合的效果，推荐在实践中使用ORC与Snappy压缩组合。
摘要由CSDN通过智能技术生成

目录

8.1 Hadoop源码编译支持Snappy压缩

8.2 Hadoop压缩配置

8.3 开启Map输出阶段压缩

8.4 开启Reduce输出阶段压缩

8.5 文件存储格式

8.6 存储和压缩结合

8.1 Hadoop源码编译支持Snappy压缩

8.1.1 资源准备

  1. CentOS联网
    配置CentOS能连接外网。Linux虚拟机ping www.baidu.com 是畅通的
    注意：采用root角色编译，减少文件夹权限出现问题

  2. jar包准备(hadoop源码、JDK8 、maven、protobuf)
    （1）hadoop-2.7.2-src.tar.gz
    （2）jdk-8u144-linux-x64.tar.gz
    （3）snappy-1.1.3.tar.gz
    （4）apache-maven-3.0.5-bin.tar.gz

了解本专栏 订阅专栏 解锁全文 超级会员免费看
北京小辉
关注
专栏目录
订阅专栏
hive文件的存储格式
weiha666的博客
12-24 270
列式存储和行式存储 上图左边为逻辑表，右边第一个为行式存储，第二个为列式存储。 行存储的特点： 查询满足条件的一整行数据的时候，列存储则需要去每个聚集的字段找到对应的每个列的值，行存储只需要找到其中一个值，其余的值都在相邻地方，所以此时行存储查询的速度更快。行存适用于对几行或者多行的操作（查询或者更新）。 列存储的特点：因为每个字段的数据聚集存储，在查询只需要少数几个字段的时候，能大大减少读取的...
Hive压缩和存储
Faded1573606285的博客
09-20 285
1 Hadoop源码编译支持Snappy压缩 1.1 资源准备 1）CentOS联网 配置CentOS能连接外网。Linux虚拟机ping www.baidu.com 是畅通的 注意：采用root角色编译，减少文件夹权限出现问题 2）jar包准备(hadoop源码、JDK7 、 maven、 protobuf) （1）hadoop-2.7.2-src.tar.gz （2）jdk-8u...
hive启用压缩
weixin_33709219的博客
06-26 129
<property> <name>hive.exec.compress.intermediate</name> <value>true</value></property><property> <name>mapreduce.map.output.compress</
hive优化之开启压缩功能
weixin_33884611的博客
09-27 368
1、开启hive作业mapreduce任务中间压缩功能：对于数据进行压缩可以减少job中map和reduce task间的数据传输量。对于中间数据压缩，选择一个低cpu开销编/解码器要不选择一个压缩率高的编解码器重要很多。hadoop压缩的默认编解码器是DefaultCodec，可以通过设置参数mapred.map.output.compression.codec来进行相应调整，这是一个hadoo...
Hive部分：行式存储和列式存储的比较
wyqwilliam的博客
07-16 7535
行式存储和列式存储的比较： 列式存储(Columnar or column-based)是相对于传统关系型数据库的行式存储(Row-basedstorage)来说的。简单来说两者的区别就是如何组织表： Ø  Row-based storage stores atable in a sequence of rows. Ø  Column-based storage storesa tabl...
apache-hive-3.1.2-bin.tar.gz
06-24
5. `metastore/`：元数据存储相关的库和脚本，Hive使用元数据来跟踪表和分区的信息。 6. `docs/`：文档和帮助资料。 升级Jetty的过程可能包括下载源码，修改pom.xml文件以指定新版本，编译源码，然后将新编译的...
hive-exec-2.1.1.jar
04-14
在大数据处理领域，Hive是一个基于Hadoop的数据仓库工具，它允许用户使用SQL-like的语言（称为HQL）来查询和管理大规模数据集。Hive 2.1.1是其一个稳定版本，提供了诸多增强的功能和性能优化。在这个场景中，我们...
hive-1.1.0-cdh5.7.0.tar.gz.rar
08-21
- **压缩**：启用数据压缩可以减少存储空间，同时在一定程度上提升读取速度。 - **元数据优化**：合理设计表和分区的元数据，避免全表扫描，有助于提高查询效率。 7. **Hive在大数据分析的应用** Hive广泛应用于...
apache-hive-2.1.1-bin.tar.gz下的bin文件夹，包含hive.cmd
02-11
此外，Hive还支持多种存储格式，如TextFile、ORC、Parquet，选择合适的存储格式可以有效地压缩数据，减少存储空间并提升查询速度。 总的来说，"apache-hive-2.1.1-bin.tar.gz"中的`bin`文件夹及其包含的`hive.cmd`...
apache-hive-1.2.1-bin.tar.gz
12-29
Apache Hive 是一个基于 Hadoop 的数据仓库工具，它允许用户使用 SQL 类似的查询语言（称为 HiveQL）来处理和分析存储在 Hadoop 分布式文件系统（HDFS）中的大量数据。Hive 提供了数据汇总、离线分析以及结构化数据...
行存储与列存储
Fishman113的博客
01-02 341
常见存储单元 行存储：database（mysql，oracle） hive 列存储：hbase、sparkSql 行存储和列存储的比较： 是否连续存储：行储存是在磁盘上是连续的；列存储在磁盘不连续 写性能比较：写入的此磁盘的次数越少性能是越高的，所以行存储是只写一次性能高，列存储写入多次性能低 读性能比较： 读整表，是行存储性能较高 如果按照指定的列读，则行存储会产生冗余列（海量数据查询...
如何查看hive表是列存储还是行存储；
sinat_36572927的博客
08-21 2641
行存储有两种,TextFile,SEQUENCEFILE; 列存储有 ORC和PARQUET; desc formatted table_name;查看表属性,发现不能显示存储方式; 最后想到用 "show create table table_name",这种方式, 可以查看建表时候指定的那种方式
Hive常用输入和压缩建表语句
L, there!
09-05 2756
Text普通文本 create table `cp_api_log`(`line` string) partitioned by (`date` string) row format delimited fields terminated by '\t' lines terminated by '\n' stored as textfile -- 或 stored as 直接指定输入输出格...
Hive表的数据压缩和企业级调优
a1007904449的博客
08-12 926
压缩模式评价常见压缩格式http://google.github.io/snappy/On a single core of a Core i7 processor in 64-bit mode, Snappy compresses at about 250 MB/sec or more and decompresses at about 500 MB/sec or more.案例实操： 1.4 开启Reduce输出阶段压缩 当Hive将输出写入到表中时，输出内容同样可以进行压缩。属性hive.exec.
创建hive表，指定存储和压缩格式
徐磊的博客
04-12 9130
一、指定存储格式是ORC，压缩格式是orc默认的ZLIB压缩 建表语句 create table log_orc_none( track_time string, url string, session_id string, referer string, ip string, end_user_id string, city_id string ) row format delimited fi...
大数据BigData之hive怎么样才能够直接读取amazon s3中的.gz文件数据呢？
RunFromHere的博客
10-12 1691
在看这篇文章之前，请确保以下几件事 安装好 jdk 安装好 hadoop （记得准备好需要用到的jar包） 安装好 hive （记得配置元数据库、准备好需要用到的jar包） 配置好 hadoop 连接 amazon s3 的文件 配置好 hive 连接 amazon s3 的文件 配置好 hive 与 hadoop 之间的连接 hive怎么样才能够直接读取amazon s3中的.gz文件数...
字符的读取和写入
qq_44969215的博客
10-09 251
1、字符流读取单个字符 // 读取单个字符 @Test public void test8() { File file = new File("E:" + File.separatorChar + "IO文件" + File.separatorChar + "seecen.txt"); try(Reader read = new FileReader(file);){ // read():返回一个字符，如果达到文件末尾，返回一个-
Hive 存储格式详解
qq_34125999的博客
03-15 1001
Hive支持的存储数的格式主要有：TEXTFILE（行式存储） 、SEQUENCEFILE(行式存储)、ORC（列式存储）、PARQUET（列式存储）。
大数据Hive（十）：Hive的数据存储格式
Lansonli（蓝深李）的博客
06-18 2018
文章目录Hive的数据存储格式一、列式存储和行式存储二、主流文件存储格式对比实验1、TextFile2、ORC3、Parquet三、存储和压缩结合1、创建一个非压缩的的ORC存储方式2、创建一个SNAPPY压缩的ORC存储方式3、上一节中默认创建的ORC存储方式，导入数据后的大小为4、存储方式和压缩总结：Hive支持的存储数的格式主要有：TEXTFILE（行式存储） 、SEQUENCEFILE(行式存储)、ORC（列式存储）、PARQUET（列式存储）。行存储的特点： 查询满足条件的一整行数据的时候，列存储
apache-hive-2.1.1-bin.tar.gz
最新发布
07-24
### 回答1： Apache Hive是一个开源的数据仓库基础设施，可以通过使用SQL来查询和分析大规模的数据集。apache-hive-2.1.1-bin.tar.gz是Hive的2.1.1版本的二进制安装包。这个安装包包含了Hive运行所需的所有文件。 在安装Hive之前，我们需要确保已经安装了Java Development Kit (JDK)，因为Hive是在Java环境下运行的。然后，我们可以通过以下步骤来安装apache-hive-2.1.1-bin.tar.gz： 1. 首先，我们需要下载apache-hive-2.1.1-bin.tar.gz文件。我们可以从Apache Hive官方网站下载这个文件。 2. 下载完成后，我们需要将下载的文件解压缩。可以使用以下命令进行解压缩：tar -zxvf apache-hive-2.1.1-bin.tar.gz 3. 解压缩完成后，我们需要配置Hive的环境变量。我们可以打开.bashrc或.bash_profile文件，并添加以下配置行： export HIVE_HOME=/path/to/hive export PATH=$PATH:$HIVE_HOME/bin 请将上述配置行中的"/path/to/hive"替换为您解压缩Hive的路径。 4. 保存文件，然后加载这些配置。我们可以使用以下命令加载.bashrc文件：source ~/.bashrc 5. 现在，我们可以启动Hive了。使用以下命令启动：hive 这将启动Hive的命令行界面，我们可以在其中执行Hive的SQL查询和操作。 这就是安装apache-hive-2.1.1-bin.tar.gz的基本步骤。安装完成后，您可以开始使用Hive来查询和分析大规模的数据集。希望这个回答能对您有帮助！ ### 回答2： Apache Hive是一个基于Hadoop的数据仓库解决方案，它可以提供结构化查询语言(SQL)，以便从大规模分布式数据集中检索和分析数据。hive-2.1.1-bin.tar.gz是Hive的一个版本，其中的bin表示该文件包含了Hive的可执行脚本和二进制文件。 在解压和安装这个tar.gz文件之后，我们可以通过运行Hive的命令行界面来开始使用Hive。Hive提供了类似于SQL的查询语言，称为HiveQL，它允许用户使用SQL语句来查询和分析存储在Hadoop集群上的数据。 Hive可以处理各种类型的数据，包括结构化数据、半结构化数据和非结构化数据。它允许用户定义表结构，将数据导入表中，并执行类SQL查询来处理这些表。Hive使用Hadoop的MapReduce框架来执行查询，因此具有良好的可扩展性和容错性。 除了基本的查询功能外，Hive还支持用户自定义函数(UDFs)，以便根据特定需求编写自定义的函数，并将其应用于查询中。此外，Hive还支持分区和分桶的概念，以改进查询性能。 通过使用Hive，用户可以利用Hadoop集群的强大计算能力和存储能力来处理大规模数据集。它提供了一种简化和抽象化的方式来处理和查询大数据，对于那些熟悉SQL语法的用户来说，学习和使用Hive相对容易。 总之，apache-hive-2.1.1-bin.tar.gz是Apache Hive的一个版本，它提供了一个基于Hadoop的数据仓库解决方案，可以通过HiveQL语言来查询和分析大规模分布式数据集。 ### 回答3： apache-hive-2.1.1-bin.tar.gz 是Apache Hive项目的二进制压缩文件。Apache Hive是一个基于Hadoop的数据仓库基础架构工具，用于提供数据的存储、查询和分析。通过Hive，用户可以使用类SQL语言在Hadoop集群中执行数据查询，并将查询结果转换为MapReduce任务进行处理。 Apache Hive提供了一个类似于关系型数据库的查询语言，称为HiveQL，它使用了SQL语法来查询和操作存储在Hadoop HDFS或Hive表中的数据。Hive将HiveQL查询转换为MapReduce任务或Tez DAG（有向无环图）任务，让用户可以轻松地利用Hadoop集群的并行处理能力进行大规模数据处理。 通过Apache Hive，用户可以在不需要掌握复杂的MapReduce编程技术的情况下，利用简单的SQL语法进行数据分析和挖掘。用户可以创建Hive表，将数据加载到表中，并使用HiveQL进行查询和处理。此外，Hive还提供了用户定义函数（UDF）、用户定义聚合函数（UDAF）和用户定义转换函数（UDTF）的能力，让用户可以按照自己的需求扩展和定制Hive的功能。 apache-hive-2.1.1-bin.tar.gz是Hive 2.1.1版本的二进制分发文件。用户可以下载并解压此文件，即可在本地环境中部署和运行Apache Hive。Hive还有其他版本和分发文件可供选择，用户可以根据自己的需求选择适合的版本进行使用。对于想要在Hadoop集群中快速搭建和使用数据仓库工具的用户，Apache Hive提供了一个强大而灵活的解决方案。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

北京小辉

你的鼓舞将是我最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值