Hive_HIVE优化指南_场景三_合理进行并行控制

最新推荐文章于 2024-08-16 12:21:18 发布
最新推荐文章于 2024-08-16 12:21:18 发布
阅读量507 收藏
点赞数
分类专栏： Hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010003835/article/details/105494048
版权

大纲地址 ： https://blog.csdn.net/u010003835/article/details/105334641

 

 

测试表以及测试数据

+----------------------------------------------------+
|                   createtab_stmt                   |
+----------------------------------------------------+
| CREATE TABLE `datacube_salary_org`(                |
|   `company_name` string COMMENT '????',            |
|   `dep_name` string COMMENT '????',                |
|   `user_id` bigint COMMENT '??id',                 |
|   `user_name` string COMMENT '????',               |
|   `salary` decimal(10,2) COMMENT '??',             |
|   `create_time` date COMMENT '????',               |
|   `update_time` date COMMENT '????')               |
| PARTITIONED BY (                                   |
|   `pt` string COMMENT '????')                      |
| ROW FORMAT SERDE                                   |
|   'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'  |
| WITH SERDEPROPERTIES (                             |
|   'field.delim'=',',                               |
|   'serialization.format'=',')                      |
| STORED AS INPUTFORMAT                              |
|   'org.apache.hadoop.mapred.TextInputFormat'       |
| OUTPUTFORMAT                                       |
|   'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat' |
| LOCATION                                           |
|   'hdfs://cdh-manager:8020/user/hive/warehouse/data_warehouse_test.db/datacube_salary_org' |
| TBLPROPERTIES (                                    |
|   'transient_lastDdlTime'='1586310488')            |
+----------------------------------------------------+

+-----------------------------------+-------------------------------+------------------------------+--------------------------------+-----------------------------+----------------------------------+----------------------------------+-------------------------+
| datacube_salary_org.company_name  | datacube_salary_org.dep_name  | datacube_salary_org.user_id  | datacube_salary_org.user_name  | datacube_salary_org.salary  | datacube_salary_org.create_time  | datacube_salary_org.update_time  | datacube_salary_org.pt  |
+-----------------------------------+-------------------------------+------------------------------+--------------------------------+-----------------------------+----------------------------------+----------------------------------+-------------------------+
| s.zh                              | engineer                      | 1                            | szh                            | 28000.00                    | 2020-04-07                       | 2020-04-07                       | 20200405                |
| s.zh                              | engineer                      | 2                            | zyq                            | 26000.00                    | 2020-04-03                       | 2020-04-03                       | 20200405                |
| s.zh                              | tester                        | 3                            | gkm                            | 20000.00                    | 2020-04-07                       | 2020-04-07                       | 20200405                |
| x.qx                              | finance                       | 4                            | pip                            | 13400.00                    | 2020-04-07                       | 2020-04-07                       | 20200405                |
| x.qx                              | finance                       | 5                            | kip                            | 24500.00                    | 2020-04-07                       | 2020-04-07                       | 20200405                |
| x.qx                              | finance                       | 6                            | zxxc                           | 13000.00                    | 2020-04-07                       | 2020-04-07                       | 20200405                |
| x.qx                              | kiccp                         | 7                            | xsz                            | 8600.00                     | 2020-04-07                       | 2020-04-07                       | 20200405                |
| s.zh                              | engineer                      | 1                            | szh                            | 28000.00                    | 2020-04-07                       | 2020-04-07                       | 20200406                |
| s.zh                              | engineer                      | 2                            | zyq                            | 26000.00                    | 2020-04-03                       | 2020-04-03                       | 20200406                |
| s.zh                              | tester                        | 3                            | gkm                            | 20000.00                    | 2020-04-07                       | 2020-04-07                       | 20200406                |
| x.qx                              | finance                       | 4                            | pip                            | 13400.00                    | 2020-04-07                       | 2020-04-07                       | 20200406                |
| x.qx                              | finance                       | 5                            | kip                            | 24500.00                    | 2020-04-07                       | 2020-04-07                       | 20200406                |
| x.qx                              | finance                       | 6                            | zxxc                           | 13000.00                    | 2020-04-07                       | 2020-04-07                       | 20200406                |
| x.qx                              | kiccp                         | 7                            | xsz                            | 8600.00                     | 2020-04-07                       | 2020-04-07                       | 20200406                |
| s.zh                              | enginer                       | 1                            | szh                            | 28000.00                    | 2020-04-07                       | 2020-04-07                       | 20200407                |
| s.zh                              | enginer                       | 2                            | zyq                            | 26000.00                    | 2020-04-03                       | 2020-04-03                       | 20200407                |
| s.zh                              | tester                        | 3                            | gkm                            | 20000.00                    | 2020-04-07                       | 2020-04-07                       | 20200407                |
| x.qx                              | finance                       | 4                            | pip                            | 13400.00                    | 2020-04-07                       | 2020-04-07                       | 20200407                |
| x.qx                              | finance                       | 5                            | kip                            | 24500.00                    | 2020-04-07                       | 2020-04-07                       | 20200407                |
| x.qx                              | finance                       | 6                            | zxxc                           | 13000.00                    | 2020-04-07                       | 2020-04-07                       | 20200407                |
| x.qx                              | kiccp                         | 7                            | xsz                            | 8600.00                     | 2020-04-07                       | 2020-04-07                       | 20200407                |
+-----------------------------------+-------------------------------+------------------------------+--------------------------------+-----------------------------+----------------------------------+----------------------------------+-------------------------+

 

 

场景三.合理进行并行控制

合理的使用并行化参数控制

并行化参数有以下几个：

开启任务并行执行
    set hive.exec.parallel=true;
允许并行任务的最大线程数
    set hive.exec.parallel.thread.number=8;

这个只是开启并行化建议，具体最终能不能并行，还是依赖于之间有无依赖关系。

有依赖关系，既使开启了优化参数也是不行的。

如何查看每个阶段间是否有依赖关系，我们可以通过 EXPLAIN 去查看

 

起作用的情况 ，针对于以下情况（但不限于）

1) UNION ALL 语句 ：

因为 UNION ALL 的子句之间是没有依赖关系，所以开启并行参数，可以让这些STAGE 并行工作。

例如：如下SQL

SELECT 
 'a' AS type
 ,COUNT(1) AS num
FROM datacube_salary_basic_aggr AS a
UNION ALL
SELECT
 'b' AS type
 ,COUNT(1) AS num
FROM datacube_salary_company_aggr AS b
UNION ALL
SELECT 
 'c' AS type
 ,COUNT(1) AS num
FROM datacube_salary_dep_aggr AS c
UNION ALL
SELECT 
 'd' AS type
 ,COUNT(1) AS num
FROM datacube_salary_total_aggr AS d
;
+----------------------------------------------------+
|                      Explain                       |
+----------------------------------------------------+
| STAGE DEPENDENCIES:                                |
|   Stage-1 is a root stage                          |
|   Stage-2 depends on stages: Stage-1, Stage-3, Stage-4, Stage-5 |
|   Stage-3 is a root stage                          |
|   Stage-4 is a root stage                          |
|   Stage-5 is a root stage                          |
|   Stage-0 depends on stages: Stage-2               |
|                                                    |

可以看到 stage1, stage3, stage4, stage5 之间并无依赖。它们之间是并行的。

 

2) JOIN 语句：

当多张表 JOIN 是相同条件的时候，会转化为一个STAGE

SELECT 
 a.user_id 
 ,a.mobile
 ,a.sex
 ,b.user_name
 ,c.type
FROM join_multi_a AS a
LEFT JOIN join_multi_b AS b
 ON a.user_id = b.user_id
LEFT JOIN join_multi_c AS c
 ON a.user_id = c.user_id
;

 

+----------------------------------------------------+
|                      Explain                       |
+----------------------------------------------------+
| STAGE DEPENDENCIES:                                |
|   Stage-1 is a root stage                          |
|   Stage-0 depends on stages: Stage-1               |
|                                                    |
| STAGE PLANS:                                       |
|   Stage: Stage-1                                   |
|     Map Reduce                                     |
|       Map Operator Tree:                           |
|           TableScan                                |
|             alias: a                               |
|             Statistics: Num rows: 3 Data size: 30 Basic stats: COMPLETE Column stats: NONE |
|             Reduce Output Operator                 |
|               key expressions: user_id (type: bigint) |
|               sort order: +                        |
|               Map-reduce partition columns: user_id (type: bigint) |
|               Statistics: Num rows: 3 Data size: 30 Basic stats: COMPLETE Column stats: NONE |
|               value expressions: mobile (type: string), sex (type: bigint) |
|           TableScan                                |
|             alias: b                               |
|             Statistics: Num rows: 3 Data size: 42 Basic stats: COMPLETE Column stats: NONE |
|             Reduce Output Operator                 |
|               key expressions: user_id (type: bigint) |
|               sort order: +                        |
|               Map-reduce partition columns: user_id (type: bigint) |
|               Statistics: Num rows: 3 Data size: 42 Basic stats: COMPLETE Column stats: NONE |
|               value expressions: user_name (type: string) |
|           TableScan                                |
|             alias: c                               |
|             Statistics: Num rows: 3 Data size: 30 Basic stats: COMPLETE Column stats: NONE |
|             Reduce Output Operator                 |
|               key expressions: user_id (type: bigint) |
|               sort order: +                        |
|               Map-reduce partition columns: user_id (type: bigint) |
|               Statistics: Num rows: 3 Data size: 30 Basic stats: COMPLETE Column stats: NONE |
|               value expressions: type (type: string) |
|       Reduce Operator Tree:                        |
|         Join Operator                              |
|           condition map:                           |
|                Left Outer Join0 to 1               |
|                Left Outer Join0 to 2               |
|           keys:                                    |
|             0 user_id (type: bigint)               |
|             1 user_id (type: bigint)               |
|             2 user_id (type: bigint)               |
|           outputColumnNames: _col0, _col1, _col2, _col8, _col14 |
|           Statistics: Num rows: 6 Data size: 66 Basic stats: COMPLETE Column stats: NONE |
|           Select Operator                          |
|             expressions: _col0 (type: bigint), _col1 (type: string), _col2 (type: bigint), _col8 (type: string), _col14 (type: string) |
|             outputColumnNames: _col0, _col1, _col2, _col3, _col4 |
|             Statistics: Num rows: 6 Data size: 66 Basic stats: COMPLETE Column stats: NONE |
|             File Output Operator                   |
|               compressed: false                    |
|               Statistics: Num rows: 6 Data size: 66 Basic stats: COMPLETE Column stats: NONE |
|               table:                               |
|                   input format: org.apache.hadoop.mapred.SequenceFileInputFormat |
|                   output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat |
|                   serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe |
|                                                    |
|   Stage: Stage-0                                   |
|     Fetch Operator                                 |
|       limit: -1                                    |
|       Processor Tree:                              |
|         ListSink                                   |
|                                                    |
+----------------------------------------------------+

 

 

筛选下重要的部分：

+----------------------------------------------------+
| STAGE DEPENDENCIES:                                |
|   Stage-1 is a root stage                          |
|   Stage-0 depends on stages: Stage-1               |

 Reduce Operator Tree:                        |
|         Join Operator                              |
|           condition map:                           |
|                Left Outer Join0 to 1               |
|                Left Outer Join0 to 2               |
|           keys:                                    |
|             0 user_id (type: bigint)               |
|             1 user_id (type: bigint)               |
|             2 user_id (type: bigint)               |

 

高达一号
关注
专栏目录
HIVE编程指南
08-07
《Hive编程指南》是一本ApacheHive的编程指南，旨在介绍如何使用Hive的SQL方法——HiveQL来汇总、查询和分析存储在Hadoop分布式文件系统上的大数据集合。《Hive编程指南》通过大量的实例，首先介绍如何在用户环境下安装和配置Hive，并对Hadoop和MapReduce进行详尽阐述，最终演示Hive如何在Hadoop生态系统进行工作。
hive优化之并行执行任务
weixin_34269583的博客
09-27 639
1、与Oracle并行技术一样，hive在执行mapreduce作业时也可以执行并行查询。针对于不同业务场景SQL语句的执行情况，有些场景下SQL的执行是需要分割成几段去执行的，而且期间并不全是存在依赖关系。默认情况下，hive只会一段一段的执行mapreduce任务。使用并行的好处在于可以让服务器可以同时去执行那些不想关的业务场景，比如：select deptno,count(1) from e...
Hive的优化大全,超过16种优化,详细篇,附带mysql数据库的优化
最新发布
qq_55006020的博客
08-16 1138
hive的十六种优化的原理和代码; mysql的优化方式 介绍
hive优化（三）
mengxb12138的博客
06-13 303
一． join 优化Join 查找操作的基本原则： 应该将条目少的表/子查询放在 Join 操作符的左边。原因 是在 Join 操作的 Reduce 阶段，位于 Join 操作符左边的表的内容会被加载进内存，将 条目少的表放在左边，可以有效减少发生内存溢出错误的几率。 Join 查找操作中如果存在多个 join，且所有参与 join 的表中其参与 join 的 key 都相 同，则会将所有的 joi
hive优化，并行查询
weixin_30407613的博客
08-27 1011
1、hive中控制并行执行的参数有如下几个： $ bin/hive -e set | grep parall hive.exec.parallel=false hive.exec.parallel.thread.number=8 hive.stats.map.parallelism=1 其中：hive.exec.parallel=false、hive.exec.parallel.thre...
关于Hive的一些优化
weixin_41928342的博客
04-20 820
关于Hive的优化(仅供参考) :    1、关于join中 出现数据倾斜的操作 :              这里我们需要设置两个参数 :             1.1、hive.optimize.skewjoin=true; 解释 : 如果join中出现了数据倾斜,应该设置成true。            1.2、set hive.skewjoin.key=1000000; 解释 : 这是...
Hive用户指南(Hive_user_guide)_中文版pdf
02-19
10. **最佳实践**：学习Hive不仅要掌握其语法和特性，还要了解如何根据具体业务场景选择合适的表设计、分区策略和查询方式，以及如何进行性能调优。 总的来说，《Hive用户指南》中文版是学习和使用Hive的重要参考...
Hive用户指南(Hive_user_guide)_中文版
10-07
- **Hadoop系统**：Hive依赖Hadoop的两大核心组件HDFS和MapReduce进行数据存储和并行计算。 **1.2 Hive和Hadoop的关系** Hive是构建在Hadoop之上的一个工具层，旨在为Hadoop提供一种更加方便的SQL-like查询语言...
Hive编程指南-by-_美_Edward-Capriolo　Dean-Wampler　Jason-Rutherglen-著-_
08-03
《Hive编程指南》是一本深入讲解Hive在Hadoop生态系统中应用的书籍，由Edward Capriolo、Dean Wampler和Jason Rutherglen三位专家共同撰写。书中详细介绍了Hive的基础知识，包括Hadoop和MapReduce的概念，以及Hive在...
Hive 编程指南
05-30
《Hive编程指南》是一本深入探讨Hive技术的教程，专门为那些想要利用Hadoop进行大规模数据处理的读者设计。Hive是建立在Hadoop生态系统之上的一种数据仓库工具，它允许用户通过SQL-like语言（HQL）对分布式存储的...
Hive编程指南
10-30
4. **Hive优化**：探讨如何提高Hive查询效率，包括分区策略、桶表、物化视图、优化查询计划（例如使用EXPLAIN命令）、并行执行和数据倾斜等问题。 5. **Hive与Hadoop的集成**：介绍Hive如何与Hadoop的其他组件，如...
Hive编程指南.pdf
08-16
本书是Hive编程指南，对Hive进行全面详实的介绍，可以帮助Hadoop开发人员对Hive进行调优和定制。
HIve编程指南
集结号起花开万里的博客
04-25 1227
HIve编程指南数据定义库描述信息表管理表（外部表）外部表分区表管理表外部分区表修改表增加修改删除表分区删除分区修改列信息增加列删除或替换列数据操作插入数据静态分区插入向管理表中装载数据通过查询语句向表中插入数据动态分区插入单个查询语句中创建表并加载数据导出数据查询算术运算符函数数学函数聚合函数表生成函数内置其他函数limit语句嵌套select 语句case ... when ... then..谓词操作符like和rlikejoin语句inner joinorder by 和 sort by含有sort
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值