大数据——Hive SQL优化

最新推荐文章于 2023-08-24 20:56:40 发布
最新推荐文章于 2023-08-24 20:56:40 发布 936 收藏 5
分类专栏： 大数据 文章标签： hive 大数据 sql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/glpghz/article/details/126840701
版权

大数据——Hive SQL优化

一、SELECT 字段尽可能少，数据过滤尽可能提前

在这里插入图片描述

二、能不用JOIN连接的就不用

在这里插入图片描述

三、数据倾斜问题

1、JOIN 优化
选用join key分布最均匀的表作为驱动表，并且大表放在右边，小表放在左边。

2、排序优化
sort by代替 order by.

3、少用count(distinct)
用group by代替 count(distinct)

select count(*) from (select uid from testmac group by uid) t
四、多表join时key保持一致

当对多个表进行join连接时，如果每个on子句都使用相同的连接键的话，那么只会产生一个MapReduce job，执行效率相对快。

五、去除空值和无意义的值

出现空值或无意义值时，如null，空字符串、-1等，在做join时这些空值就会非常集中，拖累进度。因此，若不需要空值数据，就提前写where语句过滤掉。若需要保留，将空值null的记录随机改为负值：

阅读终点，创作起航，您可以撰写心得或摘录文章要点写篇博文。去创作
长不大的大灰狼
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
Hive_优化——深入浅出学Hive
11-09
大数据湖中Hive是一个非常重要的工具，它是用来做数仓、BI的不二之选，虽然Hive其实就是写Sql但是，对于其原理和优化我们在实际工作中必须要了解的，有利于提高集群的执行效率，也是程序员进阶的一项指标
hive中的空值处理
热门推荐
lv_hulk的博客
12-29 1万+
hive中的空值处理 用Sqoop往MySQL同步数据时，由于hdfs存储的数据中有null值或’’，导致同步数据失败。主要是hive sql中的空值造成的，所以今天就说一下怎么解决这个问题。 一.hive中空值分两种 （1）NULL hive中null实际在HDFS中默认存储为’\N’，通过查询显示的是’NULL’。 这时如果查询为空值的字段可通过语句：aaa is null 或者 aaa =’...
Hive调优（SQL）
最新发布
qq_49001678的博客
08-24 35
hive 0.7 的时候这个计算是自动化的，它首先会自动判断哪个是小表，哪个是大表，这个参数由（hive.auto.convert.join=true）来控制，然后控制小表的大小由（hive.smalltable.filesize=25000000）参数控制（默认是25M），当小表超过这个大小，hive会默认转化成common join；影响Hive效率的不仅仅是数据量过大；第一个job会将map端数据随机输入reducer，每个reducer做部分聚合，相同的key就会分布在不同的reducer中；
SQL使用技巧(5)NULL值和空值的重要说明
LMTX069的博客
04-15 1010
null值不参与谓词运算等情况说明
Spark SQL/Hive SQL
weixin_44644621的博客
10-08 1581
文章目录Spark SQL/Hive SQL与SQL的关系HSQL与普通SQL的区别数据类型 Spark SQL/Hive SQL与SQL的关系 SQL：Structured Query Language，用于对关系型数据库进行操作的标准化语言。不同数据库对应不同类型的SQL。 Spark SQL/Hive SQL：Spark使用的数据存储是Hive，因此Spark SQL即Hive SQL，具有其自身的一些标准和使用方法。 HSQL与普通SQL的区别 HSQL不支持等值链接，即不能省略join，如：
HiveSQL调优手段有哪些?
abxzq19870214的博客
12-18 318
使用优化器参数，例如 hive.auto.convert.join 和 hive.optimize.sort.dynamic.partition，来调整优化器的行为。使用合适的分桶方式，例如按照经常使用的分组字段分桶。使用合适的存储格式，例如 ORC 或 Parquet，可以提高查询性能。使用合适的数据类型，例如使用 int 或 smallint 来存储较小的数值，以减少存储空间。使用索引提高查询性能，但要注意不要使用过多的索引，否则会影响写入性能。使用外部表存储大量数据，并使用分区存储少量数据。
大数据:hive1
01-07
 数据仓库通过sql进行统计分析——–>将SQL语言中常用的操作（select,where,group等）用mapreduce写成很多模板 所有的mapreduce模板封装在hive中—>通过hive框架匹配出相应的mapreduce模板—->运行mapreduece生成...
Hive那些事儿之八-大数据踩过的坑——Hive insert
01-07
Hive那些事儿之八-大数据踩过的坑——Hive insert 我在对Hive表数据清洗后，使用了如下SQL将结果集插入到新表中: insert into db_name.table_name_1 ( col_1,col2,col3 ) with temp_table_1 as ( select id,col_2 ...
Presto大数据分布式SQL查询引擎的官方主页——prestodb/ Presto
01-27
Presto is a distributed SQL query engine for big data. See the for deployment instructions and end user documentation. Requirements Mac OS X or Linux Java 8 Update 151 or higher (8u151+), 64-bit. Both...
大数据技术——数据处理和分析.pdf
12-23
⼤数据技术 ⼤数据技术——数据处理和分析 数据处理和分析 ⼤数据技术 ⼤数据技术——数据处理和分析 数据处理和分析 场景：数据清洗，数据规范化，统计分析等。 1. 实时处理 实时处理 对于实时数据及时处理，并输出...
hive注意事项01_空值处理
u012338969的博客
05-13 3026
1. 空值类型 1.1NULL hive中null实际在HDFS中默认存储为’\N’，通过查询显示的是’NULL’。这时如果查询为空值的字段可通过语句：col is null 或者 col =’\N’ 实现。此时可用hive中与null有关的函数,如nvl,coalesce,is null等判断是否为null是为true。产生NULL值，一般都是由hive外链接引起的。 1.2 ‘’ ‘’ 表示的是字段不为null且为空字符串，此时用 col is null 是无法查询这种值的，必须通过 aaa =='‘或
hive 计算表中的空值数目_hive--整理
weixin_35879114的博客
12-01 1904
hive窗口函数1、Over子句在深入研究Over字句之前，一定要注意：在SQL处理中，窗口函数都是最后一步执行，而且仅位于Order by字句之前。统计2019年4月份每个人的购买记录次数 select name,count(*) over () from odist where otime = '2019-04' group by name -------执行结果 mart 2 jack ...
hive中null值过滤
farbeyonds的博客
06-13 964
hive中null值过滤
hive补全连续或非连续空值数据sql
chimchim66的博客
12-01 1086
hive补全连续或非连续空值数据sql
hive空值、NULL值判断
natsumela的博客
11-11 2909
在hive中 空值判断有两种 1.一种标示为NULL |column1|column2 | |dsf|NULL| |DFSDFS |ddfff | 2.一种没有标示 直接为空 | column1| column2 | |dfs| | | fdfs |fd | 如果是第一种，在表中显示为NULL，则在底层数据中，保存的可能为NULL或\n 此时 通过语句column2 is null 即可查询为空值的字段 如果为第二种，在表中没有值，其表示的为字段不为null且为空字符串的值 此时 要通过co
hive SQL 过滤不含数字的字段
半壁江山009的博客
03-10 2968
需求： 有表 flow_table (host，request_path, cnt) 需要用hiveSQL过滤表中 request_path不含数字的host和request; 方法： 使用hive中 RLIKE 这个关键字 介绍： RLIKE 子句是 Hive 中这个功能的一个扩展， 其可以通过 Java 的正则表达式这个更强大的语言来指定匹配条件 具体操作： select host, request_path from flow_table where not (request_path Rlike
hive 取top100
weixin_38987362的博客
07-02 8567
select * from(select cate1,cate2,title,count(uid),row_number() over(partition by cate1,cate2 order by count(uid) desc) as n from t_ods_video_user_behaviorwhere idfa is not null and dt >= 20180621 a...
Hive优化
君子性非异也 善假于物也
01-12 217
Hive 优化 核心思想：把Hive SQL 当做Mapreduce程序去优化 以下SQL不会转为Mapreduce来执行 select仅查询本表字段 where仅对本表字段做条件过滤 Explain 显示执行计划 EXPLAIN [EXTENDED] query Hive运行方式： 本地模式 集群模式 本地模式 开启本地模式： set hive
hive sql优化
07-27
Hive SQL 优化是提高查询性能和执行效率的重要步骤。以下是一些常见的 Hive SQL 优化技巧： 1. 分区和分桶：通过在表中使用分区和分桶，可以减少查询的数据量，提高查询效率。 2. 数据压缩：使用压缩格式（如Snappy、Gzip）来减少存储空间，并提高数据读取速度。 3. 合理设置并行度：根据集群的规模和性能，合理设置并行度参数，如mapreduce.job.reduces、hive.exec.reducers.bytes.per.reducer等。 4. 使用索引：对于经常被查询的列，可以创建相应的索引来加速查询。 5. 避免全表扫描：尽量避免使用SELECT *，而是只选择需要的列，减少不必要的数据传输。 6. 数据倾斜处理：当某个列或分区的数据量远远大于其他列或分区时，可以考虑使用一些技术手段（如动态分区、map-side join）来解决数据倾斜的问题。 7. 使用合适的数据类型：选择合适的数据类型可以减少存储空间，提高查询性能。 8. 预热缓存：对于频繁执行的查询，可以通过预热缓存来避免每次都重新计算。 9. 动态分区：对于分区表，可以使用动态分区插入数据，减少数据倾斜和优化查询性能。 10. 优化查询语句：合理使用JOIN、GROUP BY、ORDER BY等操作，避免不必要的数据重复和排序操作。 请注意，具体的优化策略需要根据实际情况来定，可以通过观察查询执行计划、使用Hive性能调优工具等方法来进行优化。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

长不大的大灰狼

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值