Hive的调优策略

最新推荐文章于 2022-07-29 17:33:01 发布
最新推荐文章于 2022-07-29 17:33:01 发布
阅读量889 收藏 1
点赞数
分类专栏： Hive 文章标签： hive hadoop big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45525313/article/details/121359967
版权

1.Featch抓取，某些情况可以不用MapReduce计算

2.开启Hive的本地模式，小数据在本地处理即可

3.开启Hive的并行执行

4.Hive的严格模式

        （1）分区表，只用where过滤分区字段

        （2）order by，必须使用limit

        （3）限制笛卡尔积的查询

5.JVM的重用，同一个job重新使用N次

6.开启Hive的推测执行

7.数据压缩（gzip，lzo，snappy，bzip2）

8.表的优化

        （1）小表join大表 Mapjoin

        （2）大表join大表-空key过滤，空key转换

        （3）行、列过滤

HelloWord!
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
hive常用几种优化策略
sinat_36572927的博客
12-12 633
hive优化的几种方式; 1.fetch抓取 意思是有的hql语句可以不使用mapreduce计算, 例如 select * from table1;这种情况下,hive直接读取table对应存储目录下的文件,然后输出; 如下配置可以开启, <property> <name>hive.fetch.task.conversion</name> <value>more</value> <descri...
Hive调优策略
weixin_30672019的博客
05-28 181
Hive调优策略 Fetch抓取 Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算。 例如...
hive工作中的一些优化策略
weixin_30852451的博客
09-14 197
1、hive抓取策略 hive.fetch.task.conversion = more/none more不走mr，none走mr 2、explain 显示执行计划 3、设置本地运行模式 set hive.exec.mode.local.auto = true hive.exec.mode.local.inputbytes.m...
HIVE的调优策略
qq_41704237的博客
07-27 189
hive可以有很多方法进行调优，具体方法如下： 本地模式： 当要处理的数据很小时，完全分布式的启动时间比作业时间要长时，可以使用本地模式 -- 通过以下设置开启本地模式 SET hive.exec.mode.local.auto=true; --default false SET hive.exec.mode.local.auto.inputbytes.max=50000000; SET hive.exec.mode.local.auto.input.files.max=5; --default 4
hive优化策略
zhusiqing6的博客
06-03 307
优化一：开启本地模式 对于小数据集，执行时间可以明显被缩短。 如果是单次任务开启本地模式的话，那么可以直接在命令行里执行下面set语句，然后再执行hql语句。如果当前用户想将自己的任务启动本地模式，则可以将下面的配置写到$HOME/.hiverc文件里（因为每次hive启动都会去加载执行.hiverc里的命令。）如果希望所有的用户都使用这个配置，那么将下面的配置直接写到hive-sit...
hive调优策略
09-28
### Hive调优策略详解 #### 一、理解Hive调优的重要性 在大数据处理领域，Apache Hive 是一种广泛使用的数据仓库工具，它提供了一个 SQL 类似的查询语言（HiveQL），用于读取、写入和管理存储在 Hadoop 分布式文件...
Hive调优全方位指南.docx
10-19
### Hive调优全方位指南 #### 一、基于Hadoop的数据仓库Hive基础知识 **1. 概述** ##### 1.1 数据仓库概念 数据仓库（Data Warehouse, DW）是面向特定主题、集成的、非易失性的且反映历史变化的数据集合。其核心...
大公司大数据量hive调优实践
最新发布
11-26
总结，Hive调优是一个综合性的工程，涉及到SQL优化、数据组织、硬件配置、并行度控制等多个方面。通过持续的监控和调整，可以显著提升大数据量场景下的查询性能。在实际操作中，应根据具体业务需求和环境进行灵活...
hive调优总结文档-hive tuning ppt
08-22
以下是对"Hive调优总结文档-hive tuning ppt"中可能涉及的多个知识点的详细阐述： 1. **元数据优化**： - **分区策略**：根据业务需求，合理设计分区字段，减少不必要的数据扫描，例如按日期、地区等进行分区。 -...
hive工作调优小结
11-16
### Hive工作调优小结 #### 一、Map阶段的优化（Map Phase） 在Hive中，Map任务的数量直接影响到整个Hive作业的性能。Map任务的数量由以下公式计算得出： \[ \text{num_Map_tasks} = \max[\text{Mapred.min.split...
Hive调优策略总结
shuyv的博客
06-16 612
Hive调优策略
hive调优—通用优化策略
weixin_40474941的博客
03-07 1789
本文从hql 语句和参数设置两个方面入手，介绍一些可以通用的优化策略。至于map 和reduce 数量的调整暂不叙述。 文章目录一、join优化1. 小表连大表2. join 相同条件放在一起3. mapjoin4. 桶表连接优化5. 使用left-semi join6. 谓词下推7. join 字段显式类型转换二、group by优化1. 数据倾斜2. map 端聚合三、order by优化四、本地模式五、读取数据不启用MapReduce六、JVM重用七、设置并行八、开启严格模式九、小文件优化十、建表优化
开发中hive常见的调优策略
涤生大数据
03-19 1万+
优化一：开启本地模式       大多数的Hadoop Job是需要Hadoop提供的完整的可扩展性来处理大数据集的。不过，有时Hive的输入数据量是非常小的。在这种情况下，为查询触发执行任务消耗的时间可能会比实际job的执行时间要多的多。对于大多数这种情况，Hive可以通过本地模式在单台机器上处理所有的任务。对于小数据集，执行时间可以明显被缩短。       如果是单次任务开启本地模式的话，那么...
Hive之——调优
冰河的专栏
03-12 944
转载请注明出处：https://blog.csdn.net/l1028386804/article/details/88430447 使用explain 在查询语句前加上explain关键字，然后来查询下查询计划和其他一些信息。这个查询本身是不会执行的。 hive&gt; explain select sum(number) form onecol; explain extended 使用...
Hive调优的目标、原则及手段
点点滴滴一世界
10-20 1689
1.      Hive调优的目标、原则及手段 1.1.    调优目标 Hive调优的目标是在不影响其他业务正常运行的前提下，最大限度利用集群的物理资源，如CPU、内存、磁盘IO，使其某一项达到瓶颈。如下CPU接近瓶颈：   1.2.    调优原则 （1）保证map扫描的数据量尽量少 减少map端扫描数量，需要控制待处理的表文件或中间文件的数据量尽量少。 优化的方式如：Hiv
仅从SQL和表及参数层面简单总结22种Hive基础调优方式
曹利荣的博客
08-02 3143
1、SQL和table层面 1、column pruning(列裁剪) 查询的时候需要哪些列，直接查这些列即可，不要全局查询。 2、partition pruning(分区裁剪) 查询的时候需要哪些分区，直接查这些分区即可，不要全局查询。 3、合理利用中间结果集 SQL1包含:select a,b,c from xxx group ... ...
hive之HQL 使用where过滤
lepton126的专栏
05-14 1787
查询10号部门的员工select * from emp where deptno=10查询名叫king 的员工select * from emp where name='king'在hive的HQL语句中是严格区分大小写的查询部号是10，薪水小于2000的员工select * from emp where deptno=10 and sal&lt;20;分析执行计划explain select *...
Hive调优方法
meng_xin_true的博客
07-29 1946
HIVE提供了EXPLAIN命令来展示一个查询的执行计划,这个执行计划对于我们了解底层原理，hive调优，排查数据倾斜等很有帮助参数说明EXTENDED加上extended可以输出有关计划的额外信息。这通常是物理信息，例如文件名。这些额外信息对我们用处不大CBO输出由Calcite优化器生成的计划。CBO从hive4.0.0版本开始支持AST输出查询的抽象语法树。AST在hive2.1.0版本删除了，存在bug，转储AST可能会导致OOM错误，将在4.0.0版本修复。......
hive参数调优汇总
热门推荐
qq_18838991的博客
07-04 1万+
参考：http://blog.csdn.net/beckham008/article/details/23741151?utm_source=tuicool&utm_medium=referral 1.设置合理solt数 mapred.tasktracker.map.tasks.maximum  每个tasktracker可同时运行的最大map task数，默认值2。
Hive性能调优策略与关键参数详解
这篇Hive性能调优指南不仅涵盖了基础的参数配置技巧，还提供了实际操作中的优化策略，帮助用户在大规模数据处理环境中实现高效性能。通过遵循这些指导，开发者可以显著提升Hive的工作效率和资源利用率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

HelloWord!

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值