hive SQL优化总结

大数据处理与优化技巧
最新推荐文章于 2024-11-26 11:59:09 发布
原创 最新推荐文章于 2024-11-26 11:59:09 发布 · 1.8k 阅读 · 13 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hive #sql #hadoop

1.行过滤

尽早尽量过滤数据，减少每个阶段的数据量。

例如两个表join，把where筛选条件写到单表子查询里再进行join可减少每个表的读取数据量。

2.列裁剪

例如某表有a,b,c,d,e五个字段，但是我们只需要a和b，那么请用select a,b from table 而不是select * from table。

3.分区裁剪

在查询的过程中减少不必要的分区，即尽量指定分区，这一块hive分区表严格模式有强制措施。

4.减少job数

巧妙的使用 UNION ALL 减少 job 数量

对于多表union all场景，我们可以把多个表的数据先读取进来，然后打上标记再去做聚合统计。

利用多表相同的JOIN 条件，去减少 job 的数量

不论是外关联outer join还是内关联inner join，如果join的key相同，不管有多少表，都会合并为一个MapReduce任务。

5.减少任务map数量

主要困扰我们的是小文件问题，首先我们hive配置中添加了set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat参数，

其次从根本上还是要通过采集端文件拆分优化或者小文件合并服务等方面减少小文件的形成。

6.善用multi-insert、善用union all

#查询了两次a

insert overwrite table tmp1 select ... from a where 条件1  union all insert overwrite table

最低0.47元/天 解锁文章
wangfann
关注
HiveSQL优化总结
someInNeed的博客
08-03 997
Hive作为大数据领域常用的数据仓库组件，在平时设计和查询时要特别注意效率。影响Hive效率的几乎从不是数据量过大，而是数据倾斜、数据冗余、job或I/O过多、MapReduce分配不合理等等。对Hive的调优既包含对HiveQL语句本身的优化，也包含Hive配置项和MR方面的调整。 目录 列裁剪和分区裁剪 谓词下推 sort by代替order by group by代替distinct group by配置调整 map端预聚合 ...
面试拷打要懂：Hive sql优化最全总结
大模型大数据攻城狮的专栏
11-01 802
在大数据时代，HiveSQL优化成为提升数据分析效率的关键因素。通过合理的优化策略，如等，不仅能显著改善查询性能，还能有效降低计算成本。这些优化措施不仅提高了系统的响应速度和吞吐量，还为大规模数据处理提供了更可靠的保障。特别是在面对复杂查询和海量数据时，优化后的HiveSQL能够更好地应对挑战，为企业决策提供及时、准确的支持。在HiveSQL优化中，减少数据量是一个至关重要的核心思想。通过巧妙运用各种技术手段，我们可以显著提升查询性能，同时降低计算成本。
Hive sql优化
06-13
从数据倾斜，jvm重用，语句编写等方面对hive查询进行优化。
HiveSQL优化
AGI爱好者_数仓&可视化&数据分析工程师_Vae’伯乐‘
11-26 2184
将那些产生倾斜的key和对应v2的数据, 从当前这个MR中移出去, 单独找一个MR来处理即可, 处理后, 和之前的MR进行汇总结果即可。候, 将其提前配置设置好即可, 在后续运行的时候, 程序会自动将设置的key的数据单独找一个MR来进行处理即可, 处。当前这个k2的数据存在数据倾斜, 自动将其剔除, 交由给一个单独的MR来处理即可,两个MR处理完成后, 将结果基于。思路: 在执行MR的时候, 会动态统计每一个 k2的值出现重复的次数, 当这个重复的次数达到一定的阈值后, 认为。
hive sql 优化
zjw11763的专栏
06-01 6910
优化时，把hive sql当做map reduce程序来读，会有意想不到的惊喜。 理解hadoop的核心能力，是hive优化的根本。这是这一年来，项目组所有成员宝贵的经验总结。  对分区插入数据(每次都会覆盖掉原来的数据): 长期观察hadoop处理数据的过程，有几个显著的特征: 1.不怕数据多，就怕数据倾斜。 2．对jobs数比较多的作业运行效率相对比较低，比如即使
hivesql优化
williamjame的博客
06-14 2487
1. 业务处理优化原则 Hive对复杂SQL没有关系形数据库表现好，业务过程可使用临时表使用过程更清晰简单； 关联条件尽可能避免使用函数、正则表达式。 使用MAPJOIN()会将较小的表 加载到内存中，使连结过程在Map阶段完成 分区避免数据倾斜问题。 jobs数比较多的作业运行效率相对比较低。 可选择tez方式加快小数据量的查询速度。 不要求全局有序时使用Distribute By + S...
HIVE大数据平台SQL优化分享
wowulita123的博客
05-11 1485
此文章是大数据平台运维组从多维度参数（CPU，内存，运行时长等）筛选出TOP任务，联合数据开发人员进行优化，最终出具优化方案优化跑批作业的业务逻辑，SQL逻辑等，并跟进方案落地和报告整理。
浅谈Hive SQL的优化
Code_zhu的博客
02-17 6719
目前团队的数据处理都在Hadoop集群上， 一是因为需要处理的数据量都是亿级的，这种规模的数据适合用Hadoop集群并行处理； 二是免除了分库分表给查询处理上带来的麻烦。Hive是基于Hadoop的一个数据仓库工具，它将存储在HDFS上的结构化的文件映射成一张关系型数据库表，提供简单的SQL查询功能。本文结合Hive SQL的运行原理谈一谈Hive SQL的优化问题。 1. 数据过滤应尽早做，同时只选择所需要的列 这个原则在传统的RDMS数据中应该也适用，因为数据提前过滤了之后进行join或者其他操
HiveSQL详细和优化
08-05
HiveSQL详细和优化，以及部分个人点评 This is a brief tutorial that provides an introduction on how to use Apache Hive HiveQL with Hadoop Distributed File System. This tutorial can be your first step towards becoming a successful Hadoop Developer with Hive.
hive sql优化
~~~~~~常思~~~~~
09-11 1005
优化时，把hive sql当做map reduce程序来读，会有意想不到的惊喜。 hadoop处理数据的过程，有以下显著的特征： 1、不怕数据多，就怕数据倾斜 2、对jobs数比较多的作业运行效率相对比较低，比如即使使用几百行的表，如果多次关联多次汇总，产生十几个jobs，没半个小时是跑不完的。map reduce作业初始化的时间是比较长的。 3、对sum，count来说，不存在数
hive sql的优化
sinat_26566137的博客
06-28 490
目录1. 将大表放后头2. 使用相同的连接键3. 尽量尽早地过滤数据4. 尽量原子化操作5. 并行执行6. 调整mapper和reducer的个数6.1 Map阶段优化6.2 Reduce阶段优化7.严格模式8.数据倾斜9 参考 1. 将大表放后头 Hive假定查询中最后的一个表是大表。它会将其它表缓存起来，然后扫描最后那个表。 因此通常需要将小表放前面，或者标记哪张表是大表：/*streamtable(table_name) */ 2. 使用相同的连接键 当对3个或者更多个表进行join连接时，如果每个o
HIVE SQL 优化
weixin_46010244的博客
10-16 1994
因为count distinct操作需要用一个Reduce Task来完成，这一个Reduce需要处理的数据量太大，就会导致整个Job很难完成，一般count distinct使用先group by再count的方式替换，虽然会多用一个Job来完成，但在数据量大的情况下，这个绝对是值得的。数据倾斜的原理都知道，就是某一个或几个key占据了整个数据的90%，这样整个任务的效率都会被这个key的处理拖慢，同时也可能会因为相同的key会聚合到一起造成内存溢出。其中在开发过程中主要涉及到的可能是SQL优化这块。
hive sql命令总结
最新发布
06-25
Hive SQL 是一种用于查询和管理数据仓库中数据的语言，它与传统的 SQL 类似，但在某些方面具有独特的特性和最佳实践。以下是一些常用的 Hive SQL 命令及其最佳实践。 ### 数据定义语言 (DDL) #### 创建表 创建表时，需要指定表名、列名及其数据类型，并可以选择存储格式和其他属性。 ```sql CREATE TABLE table_name ( column1_name column1_type, column2_name column2_type, ... ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE; ``` - `ROW FORMAT DELIMITED` 指定行的格式为分隔符格式。 - `FIELDS TERMINATED BY ','` 指定字段之间的分隔符。 - `STORED AS TEXTFILE` 指定存储格式为文本文件[^2]。 #### 删除表 删除表可以使用 `DROP TABLE` 命令。 ```sql DROP TABLE IF EXISTS table_name; ``` #### 修改表 修改表结构可以通过 `ALTER TABLE` 命令实现。 ```sql ALTER TABLE old_table_name RENAME TO new_table_name; ALTER TABLE table_name ADD COLUMNS (new_column_name new_column_type); ``` ### 数据操作语言 (DML) #### 插入数据 插入数据可以通过 `INSERT INTO` 或 `INSERT OVERWRITE` 命令实现。 ```sql INSERT INTO TABLE table_name VALUES (value1, value2, ...); INSERT OVERWRITE TABLE table_name SELECT * FROM another_table; ``` #### 查询数据 查询数据是 Hive 中最常用的操作之一。 ```sql SELECT column1, column2, ... FROM table_name WHERE condition; ``` ### 分区和桶 #### 创建分区表 分区表可以提高查询性能。 ```sql CREATE TABLE sales_data ( product_id INT, sale_amount DOUBLE ) PARTITIONED BY (dt STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE; ``` #### 添加分区 添加分区可以使用 `ALTER TABLE ... ADD PARTITION` 命令。 ```sql ALTER TABLE sales_data ADD PARTITION (dt='2023-01-01'); ``` #### 删除分区 删除分区可以使用 `ALTER TABLE ... DROP PARTITION` 命令。 ```sql ALTER TABLE sales_data DROP PARTITION (dt='2023-01-01'); ``` ### 文件合并 #### 合并小文件 合并小文件可以提高查询性能。 ```sql ALTER TABLE table_name CONCATENATE; ``` ### 性能优化 #### 使用 ORC 文件格式 ORC 文件格式提供了高效的压缩和编码技术。 ```sql CREATE TABLE orc_table ( id INT, name STRING ) STORED AS ORC; ``` #### 设置合理的分区策略 合理设置分区策略可以避免过多的小分区，从而提高查询性能[^2]。 ### 其他实用命令 #### 显示数据库 显示所有数据库可以使用 `SHOW DATABASES` 命令。 ```sql SHOW DATABASES; ``` #### 切换数据库 切换数据库可以使用 `USE` 命令。 ```sql USE database_name; ``` #### 显示表 显示当前数据库中的所有表可以使用 `SHOW TABLES` 命令。 ```sql SHOW TABLES; ``` #### 查看表结构 查看表结构可以使用 `DESCRIBE` 命令。 ```sql DESCRIBE table_name; ``` ### 最佳实践 - **合理设置分区策略**：避免过多的小分区，以提高查询性能。 - **使用 Hive Merge 相关参数自动合并小文件**：这有助于减少文件数量，提高查询效率。 - **定期执行 `ALTER TABLE ... CONCATENATE` 命令**：合并小文件可以提高查询性能。 - **使用 Hive ACID 的自动压缩功能**：这有助于保持数据的一致性和高效性[^2]。 通过遵循这些最佳实践，可以有效地管理和优化 Hive 数据仓库中的数据。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值