Hive--14---企业级调优2----表的优化

已于 2023-12-24 16:16:10 修改
阅读量262 收藏 5
点赞数
分类专栏： 大数据Hadoop 文章标签： hive 大数据 hadoop
于 2022-06-29 22:16:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_48052161/article/details/125473995
版权

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录

表的优化

1.小表Join大表（Map JOIN）

多表联查–07— Hash join

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2.空 KEY处理

2.1 空key过滤

在这里插入图片描述
在这里插入图片描述

2.2 空key转换

在这里插入图片描述

如果null值得数据,是业务需要的, 那么有可能实际跑MR任务的时候会造成数据倾斜

在这里插入图片描述
在这里插入图片描述

随机分布空 null 值

在这里插入图片描述
在这里插入图片描述

3. SMB(Sort Merge Bucket join)-----分桶表 join

如果2个表join,都是数据量特表大的表, 化大为小, 用join 字段进行分桶拆分,效率会高很多

在这里插入图片描述
在这里插入图片描述

创建分通表 桶的个数不要超过可用 CPU的核数

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

案例

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4.Group By

默认情况下，Map阶段同一 key数据分发给一个reduce,当一个key数据过大时就倾斜了

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

5. Count(Distinct) 去重统计

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

6. 笛卡尔积

在这里插入图片描述

7. 行列过滤

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

案例1 的执行计划,会先对b表和o表进行id字段过滤,再表关联.
因为框架底层优化器,发现where过滤条件id,正好是表的关联字段 id. 所以会进行谓词下推的优化
  • 少用select * ,查询业务需要的字段
  • 尽量先对副表进行过滤, 再进行表的关联

8. 表分区,表分桶

知行合一。。。
关注
专栏目录
hive高级篇-企业级调优
wang5g的博客
05-10 441
hive高级篇-企业级调优 文章目录hive高级篇-企业级调优前言一、设置分区二、hql语句调优2.1 避免全表扫描2.2 GroupBy2.3 Vectorization2.4 多重模式2.5 in/exist2.6 CBO2.7 Mapjoin2.8 SMB Join2.9开启严格模式3.数据倾斜3.1 key3.2 mapjoin4.job优化4.1 map4.2 reduce4.3不走mr4.4jvm复用 前言 大家基础的hive已经学完，发现hive启用的mr框架，如果没有设置好执行计划或者对m
spark-alchemy：开源Spark工具和框架的集合，这些工具和框架使Swoop的数据工程和数据科学团队高效工作
02-05
6. **集成其他库**：Spark-Alchemy可能集成了其他流行的数据处理和科学计算库，如Hadoop、Hive、Parquet等，以实现更广泛的数据源支持。 7. **Scala优化**：由于Spark的原生API是用Scala编写的，Spark-Alchemy可能...
Hive-企业级调优
liberty12345678的专栏
12-05 297
1、Fetch 抓取 Fetch 抓取是指Hive 中对某些情况的查询可以不必使用 MapReduce 计算。例如： SELECT * FROM employees;在这种情况下，Hive 可以简单地读取 employee 对应的存储目录 下的文件，然后输出查询结果到控制台。 在 hive-default.xml.template 文件中 hive.fetch.task.conversion ...
大数据Hive--企业级调优
最新发布
xd__xy的博客
04-19 825
Explain呈现的执行计划，由一系列Stage组成，这一系列Stage具有依赖关系，每个Stage对应一个MapReduce Job，或者一个文件系统操作等。
Hive-企业级调优(表的优化)
weixin_43586713的博客
10-20 400
表的优化小表大表Join(MapJOIN)案例实操大表 Join 大表空 KEY 过滤空 key 转换 小表大表Join(MapJOIN) 将 key 相对分散，并且数据量小的表放在 join 的左边，可以使用 map join 让小的维度表先进内存。在 map端完成 join。 实际测试发现：新版的 hive 已经对小表 JOIN 大表和大表 JOIN 小表进行了优化。小表放在左边和右边已经没有区别。 案例实操 1）需求介绍 测试大表 JOIN 小表和小表 JOIN 大表的效率 2）开启 MapJoin
20企业级调优2-表的优化
hao难懂的博客
08-18 139
一、小表、大表join 1.定义 将key相对分散，并且数据量小的表放在join的左边，这样可以有效减少内存溢出错误发生的几率； 再进一步，可以使用map join让小的维度表（1000条以下的记录条数）先进内存。在map端完成reduce。 实际测试发现：新版的hive已经对小表JOIN大表和大表JOIN小表进行了优化。小表放在左边和右边已经没有明显区别。 2.实例 (1)需求 测...
Hive学习---7、企业级调优
星光不问赶路人，岁月不负有心人
06-05 753
Hive学习---7、企业级调优
Hive-常用调优手段
clearlxj的博客
08-23 1267
企业级调优 执行计划(Explain) 基本语法 EXPLAIN [EXTENDED | DEPENDENCY | AUTHORIZATION] query 案例实操 (1)查看下面这条语句的执行计划 没有生成 MR 任务的 hive (default)> explain select * from emp; OK Explain STAGE DEPENDENCIES: Stage-0 is a root stage // 一个阶段 STAGE PLANS: Stage: Stage-
Hive (十) --------- 企业级调优
在森林里麋了鹿
08-05 677
Hive 企业级优化
2023-Hive性能企业级调优
ytp552200ytp的博客
04-28 740
Hive性能企业级调优
Kylin入门-原理-调优-OLAP解决方案和行业典型应用.docx
10-26
Apache Kylin 是一款开源的高性能、分布式的在线分析处理（OLAP）系统，专为大数据环境设计，旨在提供亚秒级的查询响应时间。Kylin 基于多维立方体（MOLAP Cube）原理，允许用户进行大规模的数据分析，并且能够与...
尚硅谷Hive企业级调优的资料
04-13
尚硅谷的“Hive企业级调优的资料”是针对Hive在实际业务中进行性能优化的一系列教程或文档集合，旨在帮助用户提升Hive在大规模数据处理时的效率。下面，我们将详细探讨Hive调优的相关知识点。 一、Hive元数据优化 ...
大数据 -- 01-- 简介、环境搭建
时光里的博客
11-19 2612
大数据 简单来说大数据就是海量数据及其处理方式. 大数据（big data），IT行业术语，是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》 [1] 中 大数据指不用随机分析法（抽样调查）这样捷径，而采用所有数据进行分析处理。 大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多
Hive--11---函数-----split() 、lateral view 、explode() 、posexplode()
时光里的博客
05-08 1757
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录lateral view 、explode lateral view 、explode https://blog.csdn.net/weixin_43230682/article/details/108096441 https://blog.csdn.net/xuehuagongzi000/article/details/121497949 https://blog.csdn.net/qq_41489540/article/de.
大数据 -- 04-- Hive
时光里的博客
11-24 459
Hive Hadoop在分布式数据处理中遇到的问题 MR开发调试复杂，不适合要求快速得出结果的场景。 Hadoop由Java开发，对JAVA支持最好，对其他语言的使用者不够友好。 需要对Hadoop底层具有一定的了解，并且熟悉API才能开发出优秀的MR程序。 概述 Hive是一个建立在Hadoop基础之上的数据仓库工具，以HiveQL（类SQL）的操作方式让我们能够轻松的实现分布式的海量离线数据处理。而不必去编写调试繁琐的MR程序。 优点： 避免了MR繁琐的开发调试过程，Hive自动将我们输入的HQ
大数据 -- 05-- Kafka
时光里的博客
11-26 333
Kafka Kafka简介 他是一个MQ，作用：削峰平谷 ActiveQM（6k）、RabbitMQ(1.2w) 适用与业务系统（对事务要求极高） ZeroMQ(25-50w)、Kafka(25-50w) 适用于大数据（对速度和吞吐量要求高，海量数据中，数据可能丢失，但对结果影响微乎其微） Kafka为发布/订阅模式。 Kafka已经成为大数据业界主流。 Apache Kafka® 是 一个分布式流处理平台. 这到底意味着什么呢? 我们知道流处理平台有以下三种特性: 可以让你发布和订阅流式的记录
Hive--12---文件存储格式
时光里的博客
06-25 319
1
大数据 -- 06-- Flink
时光里的博客
11-26 317
Flink Flink简介 Apache Flink是一个框架和分布式处理引擎， 用于对无界和有界数据流进行有状态计算。 Flink设计为在所有常见的集群环境中运行，以内存速度和任何规模执行计算。 先来看一下Flink与同类产品的对比. Flink详解 Flink的组成 JobManager：协调分布式执行。他们安排任务，协调检查点，协调故障恢复等。 总是至少有一个工作经理。高可用性设置将有多个JobManager，其中一个始终是领导者，而其他则是待机者。 TaskManagers：执行任务（或
Hive企业级调优：Fetch抓取与性能优化实践
"本文主要探讨了企业级调优在大数据处理中的重要性，涉及表的优化、Count(Distinct)去重统计、动态分区调整以及数据倾斜问题的解决。通过学习和实践，可以提高大数据查询效率，降低系统延迟。文章以Hive为例，详细...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值