hive的sql优化方法[持续更新]

最新推荐文章于 2023-10-16 18:02:09 发布
最新推荐文章于 2023-10-16 18:02:09 发布
阅读量169 收藏
点赞数
分类专栏： Hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ll9504/article/details/117530154
版权

①列的裁剪，查询时只写我们需要的字段，提高效率

②两张表关联时，可以把数据量小的表写在前面，大表写在后面，这样在加载时会把小表加载到内存中，减少资源占用。

③多采用子查询，查出需要的数据，再与其他表关联

④写对表的过滤条件时，最好在map阶段就对表进行过滤，不要再reduce阶段过滤

 

桔梗的犬夜叉
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hive SQL性能优化
02-26
Hive SQL性能优化
Hive SQL调优总结
follweme888的专栏
06-25 351
这里只是总结了一下HQL上面的一些优化点，并不考虑Hadoop层面的参数、配置优化 目录 Hive SQL调优总结 目录 使用分区剪裁、列剪裁 少用count（distinct） 多对多的关联 合理使用MapJoin 合理使用Union ALL 并行执行job 使用本地MR 合理使用动态分区 避免数据倾斜 控制Map数和Reduce数 中间结果压缩 其他 使用分区剪裁、列剪裁 意思是，在select中，只拿需要的列，如果有，尽量使用分区过滤，少使用select * 另外在分区裁剪中，当使
Hive/HiveSQL常用优化方法全面总结
微信搜：import_bigdata，大数据领域硬核原创作者
06-25 8062
Hive作为大数据领域常用的数据仓库组件，在平时设计和查询时要特别注意效率。影响Hive效率的几乎从不是数据量过大，而是数据倾斜、数据冗余、job或I/O过多、MapRe...
hive中sql优化有哪些
iqifenxia的博客
11-02 889
1
30分钟掌握 Hive SQL 优化（解决数据倾斜）
未来在这儿的专栏
02-07 3296
如果joinkey有集中的空值热点值，这些空值会聚集到少数个分区中，导致长尾问题。
HiveSQL常用优化方法全面总结
weixin_41488213的博客
05-02 5835
hive优化
浅谈Hive SQL的优化
Code_zhu的博客
02-17 5956
目前团队的数据处理都在Hadoop集群上， 一是因为需要处理的数据量都是亿级的，这种规模的数据适合用Hadoop集群并行处理； 二是免除了分库分表给查询处理上带来的麻烦。Hive是基于Hadoop的一个数据仓库工具，它将存储在HDFS上的结构化的文件映射成一张关系型数据库表，提供简单的SQL查询功能。本文结合Hive SQL的运行原理谈一谈Hive SQL的优化问题。 1. 数据过滤应尽早做，同时只选择所需要的列 这个原则在传统的RDMS数据中应该也适用，因为数据提前过滤了之后进行join或者其他操
Hivesql常用优化技巧
weixin_56175042的博客
11-05 6033
首先介绍下什么是HIve？ 1.基于Hadoop的开源的数据仓库工具，用于处理海量海量结构化数据。 2.Hive把HDFS中的结构化的数据文件映射成数据表。 3.Hive通过HiveSQL进行解析和转换，最终映射成一系列在hadoop上运行的mapreduce任务，通过执行这些任务完成分析和处理。 4.HiveSql和Mysql一样，都遵循着SQL的标准，因此它们很多语句都是一样的。 一、先复习下SQL的语句的结构 SELECT * （必须） FROM 表（数据源） WHERE
HIVE SQL 优化
最新发布
weixin_46010244的博客
10-16 562
因为count distinct操作需要用一个Reduce Task来完成，这一个Reduce需要处理的数据量太大，就会导致整个Job很难完成，一般count distinct使用先group by再count的方式替换，虽然会多用一个Job来完成，但在数据量大的情况下，这个绝对是值得的。数据倾斜的原理都知道，就是某一个或几个key占据了整个数据的90%，这样整个任务的效率都会被这个key的处理拖慢，同时也可能会因为相同的key会聚合到一起造成内存溢出。其中在开发过程中主要涉及到的可能是SQL优化这块。
Hive调优策略之SQL优化
凉茶铺的博客
10-17 2575
介绍了hive如何从sql层面进行调优
Hive与SQL优化.md
12-29
Hive与SQL优化.md
HiveSQL优化手册
03-15
hiveSQL优化整理版，基于hive2整理，从数据倾斜、表优化、并行、压缩、语法树方面整理
shell中循环调用hive sql 脚本的方法
09-15
今天小编就为大家分享一篇shell中循环调用hive sql 脚本的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Hive sql优化
06-13
从数据倾斜，jvm重用，语句编写等方面对hive查询进行优化。
hivesql的几种优化的方法
寒夜二十五
04-05 2759
目前项目中由于数据量巨大，导致一个sql要跑一个多小时，所以找了些可以优化的点，记录下来，以后方便使用。 1.map的优化，job在map task的过程时间较长 set mapreduce.map.memory.mb=8240; set mapreduce.reduce.memory.mb=8240; set hive.merge.mapfiles=false; set mapreduce.input.fileinputformat.split.maxsize=50000000; set hive.e
org.apache.hadoop.hive.ql.exec.mr.MapRedTask. Could not find status of job:job_1649726530586_123811
寒夜二十五
05-28 909
hive sql在跑的时候可能会出现下面的问题： return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. Could not find status of job:job_1649726530586_123811 (state=08S01,code=1) 会报一个job名字长度超出限制的问题： 解决方法： set hive.jobname.length=10; 这里引用以为博主的例子，原文可以去这里查看 hiv..
unix_timestamp（）和 from_unixtime（）的用法
寒夜二十五
06-02 796
hive中的unix_timestamp（）和 from_unixtime（）用法： unix_timestamp() 得到当前时间戳
hive的UDF函数实现
寒夜二十五
08-07 449
hive的UDF函数的实现步骤: 1.自定义一个实现类继承UDF,重写evaluate方法(自己想要实现的功能) 2.把上面的类打成jar包上传到服务器以及hdfs中 3.在使用hive语句时可以直接调用我们的方法即可 参考博客: https://blog.csdn.net/zmywei_20160707/article/details/81698542 ...
hivesql优化方法论
09-13
Hive SQL的优化方法论包括以下几个方面： 1. 数据倾斜处理：当发现数据倾斜时，可以采取一些措施来平衡数据分布，以提高查询性能。例如，可以将倾斜的数据随机分布到多个reduce作业中。 2. 使用合适的数据类型和...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值