hive的sql优化方法[持续更新]

最新推荐文章于 2024-08-05 12:37:12 发布
最新推荐文章于 2024-08-05 12:37:12 发布
阅读量192 收藏
点赞数
分类专栏： Hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LL9504/article/details/117530154
版权

①列的裁剪，查询时只写我们需要的字段，提高效率

②两张表关联时，可以把数据量小的表写在前面，大表写在后面，这样在加载时会把小表加载到内存中，减少资源占用。

③多采用子查询，查出需要的数据，再与其他表关联

④写对表的过滤条件时，最好在map阶段就对表进行过滤，不要再reduce阶段过滤

 

桔梗的犬夜叉
关注
专栏目录
Hive SQL大厂面试题必考大全
CSDN 精品推荐
07-17 516
专栏内容涵盖了基于Hive SQL的各类题目，旨在通过解析经典问题和案例，帮助读者深入理解Hive SQL的原理和应用。每篇文章都将附带完整的题目代码和详细的解题思路，理论与实践相结合，帮助你更好地掌握Hive SQL的知识。
Hive SQL迁移Spark SQL在滴滴的实践
DiDi_Tech的博客
01-25 1562
桔妹导读：在滴滴SQL任务从Hive迁移到Spark后，Spark SQL任务占比提升至85%，任务运行时间节省40%，运行任务需要的计算资源节省21%，内存资源节省49%。在迁移过程中...
Hive sql优化
06-13
从数据倾斜，jvm重用，语句编写等方面对hive查询进行优化。
hive sql 优化
weixin_34204057的博客
05-05 63
Hive是将符合SQL语法的字符串解析生成可以在Hadoop上执行的MapReduce的工具。 使用Hive尽量按照分布式计算的一些特点来设计sql，和传统关系型数据库有区别， 所以需要去掉原有关系型数据库下开发的一些固有思维。 基本原则： 1：尽量尽早地过滤数据，减少每个阶段的数据量,对于分区表要加分区，同时只选择需要使用到的字段 select … ...
HIVE SQL 优化
weixin_46010244的博客
10-16 1218
因为count distinct操作需要用一个Reduce Task来完成，这一个Reduce需要处理的数据量太大，就会导致整个Job很难完成，一般count distinct使用先group by再count的方式替换，虽然会多用一个Job来完成，但在数据量大的情况下，这个绝对是值得的。数据倾斜的原理都知道，就是某一个或几个key占据了整个数据的90%，这样整个任务的效率都会被这个key的处理拖慢，同时也可能会因为相同的key会聚合到一起造成内存溢出。其中在开发过程中主要涉及到的可能是SQL优化这块。
Spark SQL优化之路——Hive篇
Christopher_L1n的博客
10-31 4931
Spark SQL针对Hive数据源的优化指南。
Hive SQL进阶：掌握这些SQL查询技巧，让你的数据报告更加精准和高效！
最新发布
击水三千里的专栏
08-05 894
这份文档提供了一系列的SQL查询示例，用于解决数据分析中的常见问题，如用户活跃度、留存率、销售统计等。通过这些示例，用户可以学习如何使用SQL进行高效的数据查询和分析。
2024年最新，Hive SQL经典面试题，大数据SQL经典面试题
04-28
### 2024年最新，Hive SQL经典面试题详解 #### 1. 连续登录n天的用户 **题目背景与目的** 在大数据分析领域，了解用户的行为模式对于提升用户体验、优化产品功能至关重要。例如，识别连续登录n天的用户可以帮助...
Hive SQL的优化
网络空间发展与战略研究
12-29 5856
本章只是从HQL层面介绍一下，日常开发HQL中需要注意的一些优化点，不涉及Hadoop层面的参数、配置等优化。 1 使用分区剪裁、列剪裁 在SELECT中，只拿需要的列，如果有，尽量使用分区过滤，少用SELECT *。 在分区剪裁中，当使用外关联时，如果将副表的过滤条件写在Where后面，那么就会先全表关联，之后再过滤，比如： SELECT a.id FROM lxw1234_a
hive SQL优化
manweizhizhuxia的博客
05-05 1864
1、多次INSERT单次扫描表 使用场景： --当需要多次从一张分区表查出某分区的数据放到一张新表时，下边SQL会多次扫描表。 INSERT INTO temp_table_20201115 SELECT * FROM my_table WHERE dt ='2020-11-15'; INSERT INTO temp_table_20201116 SELECT * FROM my_table WHERE dt ='2020-11-16'; 使用方法： --只用扫描一次表。 FROM my_table IN
HIVE SQL优化
chige0690的博客
06-19 632
作为数据仓库的利器，大部分的数仓工作者大部分时间都在写Hive Sql，根据作者经验整理出单纯的Hive Sql调优。 一. 普通场景下的sql优化 1. 列裁剪 由于数仓底层存储大都采用列式存储，如ORC/PARQUET，所以可以采用列裁剪的方式减少扫描的字段。 2. 分区裁剪 即查询数据表...
hive sql优化
~~~~~~常思~~~~~
09-11 926
优化时，把hive sql当做map reduce程序来读，会有意想不到的惊喜。 hadoop处理数据的过程，有以下显著的特征： 1、不怕数据多，就怕数据倾斜 2、对jobs数比较多的作业运行效率相对比较低，比如即使使用几百行的表，如果多次关联多次汇总，产生十几个jobs，没半个小时是跑不完的。map reduce作业初始化的时间是比较长的。 3、对sum，count来说，不存在数
Hive SQL性能优化：深度解析MapReduce阶段
在实际应用中，还需要结合业务需求和集群资源状况，通过监控和调优工具（如Hive的Explain命令和Hadoop的YARN Resource Manager）来持续监控和优化查询性能。同时，定期更新和升级到最新的Hive和Hadoop版本也是保持...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值