Hive-表设计优化

最新推荐文章于 2024-06-13 19:56:50 发布
最新推荐文章于 2024-06-13 19:56:50 发布
阅读量350 收藏 5
点赞数 3
分类专栏： Hive 文章标签： hive hadoop 数据仓库 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_48935611/article/details/138791415
版权

Hive-表设计优化

1.Hive查询基本原理

  • Hive的设计思想是通过元数据解析描述将HDFS上的文件映射成表。

  • 基本的查询原理是当用户通过HQL语句对Hive中的表进行复杂数据处理和计算时，默认将其转换为分布式计算MapReduce程序对HDFS中的数据进行读取处理的过程。

在这里插入图片描述

  • 当执行查询计划时，Hive会使用表的最后一级目录作为底层处理数据的输入。

在这里插入图片描述

在这里插入图片描述

2.分区表的设计与使用

  • 普通表结构问题：
    在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

3.分桶表的设计与使用

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

4.索引的设计与使用

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

喻师傅
关注
  • 3
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
基于统计方法的Hive数据仓库查询优化实现
07-09
Map/Reduce是海量离线数据分析中广泛应用的并行编程模型.Hive数据仓库基于Map/Reduce实现了查询处理引擎,然而Map/Reduce框架在处理偏斜数据时会出现工作负载分布不均的问题.均衡计算模型(computation balanced model,CBM),其核心思想是通过数据分布特征指导查询计划优化.相应研究贡献包括2部分,首先针对应用极广的GroupBy查询和Join查询建立了运行估价模型,确定了不同场景下查询计划的优化选择分支;其次基于Hive ETL机制设计了一种统计信息收集方法,解决了统计海量数据分布特征的问题.实验数据表明,通过CBM优化的GroupBy查询耗时节省了8%~45%,Join查询耗时节省了12%~46%;集群CPU负载均衡指标优化了60%~80%,I/O负载均衡指标优化了60%~90%.实验结果证实了基于CBM模型优化的查询计划生成器能显著均衡化Hive查询运行时的集群负载,并优化了查询处理效率.
第6章：Hive性能优化及Hive3新特性1
08-08
第6章：Hive性能优化及Hive3新特性课程学习目标掌握Hive中分区表及分桶表的设计及优化实现了解Hive中索引的设计及应用场景掌握Hive中文件格式与数据
快速学习-Hive 基本概念
01-07
第 1 章 Hive 基本概念 1.1 什么是 Hive Hive：由 Facebook 开源用于解决海量结构化日志的数据统计。 Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并 提供类 SQL 查询功能。 本质是：将 HQL 转化成 MapReduce 程序 1）Hive 处理的数据存储在 HDFS 2）Hive 分析数据底层的默认实现是 MapReduce 3）执行程序运行在 Yarn 上 1.2 Hive 的优缺点 1.2.1 优点 操作接口采用类 SQL 语法，提供快速开发的能力（简单、容易上手）。 避免了去写 MapReduce，减少开发人
flink-sql读写hive-1.13
第一片心意的博客
08-02 6764
本文按照 flink 1.13 官网中的读写 hive 内容翻译整理，内容十分全面。
Hive性能优化之表设计优化
赵广陆
12-10 1287
目录1 分区表1.1 Hive查询基本原理1.2 普通表结构问题1.3 分区表设计思想1.4 分区表测试2 分桶表2.1 Hive中Join的问题2.2 分桶表设计思想2.3 分桶表测试3 索引设计3.1 Hive中的索引3.2 索引的原理及使用3.3 索引的问题与应用 1 分区表 1.1 Hive查询基本原理 Hive的设计思想是通过元数据将HDFS上的文件映射成表，基本的查询原理是当用户通过HQL 语句对Hive中的表进行复杂数据处理和计算时，默认将其转换为分布式计算MapReduce程序对 HDFS
Hive优化案例、Hive数据处理模式、Hive常见问题与优化、Hive实践
11-07
1. Hive数据仓库设计：Hive数据仓库设计是非常重要的，需要考虑数据的规模、查询频率、存储空间等因素。 2. Hive性能优化：Hive性能优化是非常重要的，需要考虑查询语句、数据存储格式、数据处理模式等因素。 3. ...
基于Hadoop＋Hive的数据查询优化设计与实现
07-29
基于Hadoop＋Hive的数据查询优化设计与实现
Hive-架构与设计
wlphlj的专栏
02-10 1973
支持通过SQL对数据仓库中数据进行访问，比如提取、转化、加工、分析等支持将不同数据格式添加数据结构可以直接访问大数据存储系统中的文件，比如HDFS、HBase等Hive是一个基于Hadoop的数仓分析工具，将分布式系统中的数据映射成结构化数据。提供丰富的SQL查询方式对数仓中的数据进行访问。一般不会存储数据、只会保存元数据到Hive中。Hive根据元数据信息将查询语句转化成执行计划，此执行计划由stage组成的DAG图，调用Hadoop中的MapReduce运行执行计划得到对应结果。
【Hive---17】性能优化之表设计优化 『 left jion + union all』
渐渐的忘记，赶不上明天（读研ing，2024年毕业）
12-18 125
1. 采用分区表 2. 采用分桶表 3. 采用物化视图代替索引
Hive优化--SMB join
yyGeek的博客
03-09 966
Sort MergeBucket Map Join（简称SMB Map Join）基于Bucket Map Join。
Hive 核心原理（hive-3.1.2）
小王是个弟弟
08-29 9118
全面分析与传统数据库在设计理念、基本使用等方面的相同点和不同点。hive有这一篇差不多就够了
大数据之flink与hive
高精尖发展
06-10 287
其实吧我不太想写flink，因为线上经验确实不多，这也是我需要补的地方，没有条件创造条件，先来一篇吧。
软件1班20240607
2301_80189168的博客
06-07 2341
【代码】软件1班20240607。
05_第五章 Servlet
最新发布
weixin_65644655的博客
06-13 702
第五章 Servlet 一 Servlet简介 1.1 动态资源和静态资源 静态资源 无需在程序运行时通过代码运行生成的资源,在程序运行之前就写好的资源. 例如:html css js img ,音频文件和视频文件 动态资源 需要在程序运行时通过代码运行生成的资源,在程序运行之前无法确定的数据,运行时动态生成,例如Servlet,Thymeleaf … … 动态资源指的不是视图上的动画效果或者是简单的人机交互效果 生活举例 去蛋糕店买蛋糕 直接买柜台上已经做好的 : 静态资源 和柜
Hive面试问题
limenghao2002的博客
06-07 411
数据倾斜是由于数据分布不均匀，造成数据大量的集中到一点，造成数据热点的现象。主要表现：任务进度长时间维持在 99%或者 100%的附近，查看任务监控页面Yarn(8088)，发现只有少量 reduce 子任务未完成，因为其处理的数据量和其他的 reduce 差异过大。单一 reduce 处理的记录数和平均记录数相差太大，通常达到好几倍之多，最长时间远大于平均时长。
数据仓库技术及应用（Hive索引）
2301_79744714的博客
06-10 638
在建表时候，通过表参数”orc.bloom.filter.columns”=”pcid”来指定为那些字段建立BloomFilter索引，这样，在生成数据的时候，会在每个stripe中，为该字段建立BloomFilter的数据结构，当查询条件中包含对该字段的=号过滤时候，先从BloomFilter中获取以下是否包含该值，如果不包含，则跳过该stripe。Hive元数据表IDXS包含每个索引创建的实例信息，并且记录了与元数据表TBLS的关联信息。（1）不使用索引时，hive执行流程。
大数据学习——安装hive
2301_78409414的博客
06-12 865
大数据学习——安装hive
计算机毕业设计hadoop+spark+hive舆情分析系统 微博数据分析可视化大屏 微博情感分析 微博爬虫 微博大数据 微博推荐系统 微博预测系统
从业计算机毕业设计10年，打算用一年时间分享10年毕设经验！
06-11 968
计算机毕业设计hadoop+spark+hive舆情分析系统 微博数据分析可视化大屏 微博情感分析 微博爬虫 微博大数据 微博推荐系统 微博预测系统
Hive知识体系保姆级教程
yuan_more的博客
06-09 808
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。其本质是将SQL转换为MapReduce/Spark的任务进行运算，底层由HDFS来提供数据的存储，说白了hive可以理解为一个将SQL转换为MapReduce/Spark的任务的工具，甚至更进一步可以说hive就是一个MapReduce/Spark Sql的客户端为什么要使用hive?
hive数据库单表优化
07-28
Hive数据库单表优化可以从多个方面进行考虑。首先，可以通过合理的表设计和数据加载方式来提高查询性能。例如，可以使用分桶技术来实现分桶Join，从而提高Join操作的性能。可以使用以下步骤来实现分桶Join优化： 1. 创建分桶表：使用CREATE TABLE语句创建分桶表，并指定分桶的数量和分桶的列。 2. 加载数据：使用LOAD DATA语句将数据加载到分桶表中。 3. 执行Join操作：在查询语句中使用分桶表进行Join操作，Hive会自动将Join操作转换为MapReduce任务，并利用分桶信息进行优化。 此外，还可以考虑使用索引来提高查询性能。在Hive中，索引可以建立在表的某些列上，以提升一些操作的效率，例如减少MapReduce任务中需要读取的数据块的数量。但需要注意的是，Hive的索引与传统关系型数据库的索引有所不同，不支持主键或外键。 除了分桶和索引，还可以通过调整Hive的配置参数来优化查询性能。例如，可以增加MapReduce任务的并行度，提高查询的并发性能。可以调整内存分配参数，以提高查询的内存利用率。 总之，Hive数据库单表优化可以通过合理的表设计、数据加载方式、分桶技术、索引和配置参数调整等多个方面来实现。 #### 引用[.reference_title] - *1* [Hive数据库概述](https://blog.csdn.net/wonderful_life_mrchi/article/details/106015228)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* *3* [Hive性能优化之表设计优化](https://blog.csdn.net/ZGL_cyy/article/details/121747932)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

喻师傅

谢谢您！我会继续努力创作！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值