Hive优化

最新推荐文章于 2024-06-13 19:56:50 发布
最新推荐文章于 2024-06-13 19:56:50 发布
阅读量53 收藏
点赞数
分类专栏： Hive 文章标签： hive hadoop 数据仓库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40382400/article/details/132048877
版权
  1. 分区，分桶避免全局扫描
  2. 列式存储，加快计算速度
  3. 采用压缩，减少磁盘IO
  4. 谓词下推，行列过滤(select *)，列剪裁，CBO优化(对于计算成本的优化，比如join的顺序)
  5. 开启map-side 针对groupby，数据量大的可以提前预聚合
  6. 开启map-join   大表join小表场景 
  7. 开启分桶join  SMB 
    1. 两张表必须是分桶表
    2. 分桶数量必须整数倍
    3. 分桶字段必须是关联字段
  8. 开启skew-join，如果检测到有key比较多的，那么单独开启一个mapjoin去计算，其他正常的使用common join
  9. 更换引擎 MR更换spark  或者tez
青云游子
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hive优化案例
01-14
作为企业Hadoop应用的核心产品，Hive承载着FaceBook、淘宝等大佬 95%... 拥有1万多个Hive作业的大电商如何进行Hive优化的？本系列课结合企业实战和场景从作业架构层面、Hql(Hive sql)语法层面、Hive参数层面依次讲述。
Hive思维导图之Hive优化
06-11
Hive思维导图之Hive优化
Hive 优化
qq_41982570的博客
04-09 2147
Hive 优化
hive 优化
qq_43192537的博客
10-05 2675
hive 优化
HIVE优化
甄知一二的博客
02-26 398
hive优化策略，这篇文章讲的很好
hive优化
天龙八部
08-27 733
hive优化 hive本质上将sql语句解析成mapreduce程序运行，对于mapreduce的优化同样也会对hive sql的运行起到一定的优化作用， 优化的大致思路大致目标是：增加任务线程来处理、避免数据倾斜 1.增加任务线程来处理 增加reduce数量 reduce数量计算公式：N=min(最大的reduce数，总输入数据量/每个reduce的处理数据大小) 每个Redu...
Hive优化方法汇总
南洲.的博客
09-01 4227
1、Fetch抓取 Fetch 抓取是指，Hive 中对某些情况的查询可以不必使用 MapReduce 计算。例如：SELECT * FROM employees;在这种情况下，Hive 可以简单地读取 employee 对应的存储目录下的文件，然后输出查询结果到控制台。 在 hive-default.xml.template 文件中 hive.fetch.task.conversion 默认是 more，老版本 hive 默认是 minimal，该属性修改为 more 以后，在全局查找、字段查找、limi
Hive优化总结
GodxvA
03-30 7725
一、SQL本身的优化 1、只select需要的列，避免select * 2、where条件写在子查询中，先过滤再关联 3、关联条件写在on中，而不是where中 4、数据量大时，用group by代替count distinct 5、数据量小时，用in代替join 6、避免笛卡尔积 7、join时大表放后面，使用相同的连接键 7、严格格式 Hive.mapred.mode，分 nonstrict，strict，默认是nonstrict， 如果设置为strict，对三种情况限制： （1）分区表必须加分区。
Hive优化以及相关参数设置
ziaoming_biu的博客
05-01 2143
如取模结果为0的数据记录存放到一个文件，取模为1的数据存放到一个文件，取模为2的数据存放到一个文件。如果某个不平衡的job中有几个 reduce task 执行的时间要比其他的 reduce task 消耗的时间要多得多的话，那么保留的插槽就会一直空闲却无法被其他的 job 使用，直到所有的 task 都结束了才会释放。默认情况下，在进行分组聚合的时候，相同的键的数据会进入到同一个reduce中进行处理，如果分组的时候某一个值有大量的重复的数据，则会导致某一个reduce任务量会很大，从而导致数据倾斜。
hive优化的总结
qq_44665283的博客
06-18 4300
hive优化的全面总结
Hive优化的基本思路
qq_45749457的博客
02-26 2905
一、开头 好好理解Map-Reduce过程，多看看执行计划【explain 查询语句】，就会更帮帮地理解咯 二、Hive-SQL语句转化成MapReduce 1）Join的实现原理 select u.name, o.orderid from order o join user u on o.uid = u.uid; 2）Group By的实现原理 将GroupBy的字段组合为map的输出key值，利用MapReduce的排序， 在
Hive优化（提高hive运行速度）
01-20
文章目录一、Hive使用本地模式执行操作（Hive使用资源大于20M的时候还是会采用集群yarn的方式运行）具体设置方法1、设置临时的2、修改hive配置文件（hive-site.xml），永久有效二、 一、Hive使用本地模式执行操作...
hive优化建议.docx
12-21
测试了关于hive优化的一些方法，ETL需要的朋友可以下载看看。
hive优化经典.pdf
09-30
hive 优化经典。pdf文档。 讨论常见的hive执行瓶颈，对sql的写法和效率较低的情况进行分析和调优
计算机毕业设计Hadoop+Hive地震预测系统 地震数据分析可视化 地震爬虫 大数据毕业设计 Spark 机器学习 深度学习 Flink 大数据
从业计算机毕业设计10年，打算用一年时间分享10年毕设经验！
06-13 774
计算机毕业设计Hadoop+Hive地震预测系统 地震数据分析可视化 地震爬虫 大数据毕业设计 Spark 机器学习 深度学习 Flink 大数据
数据仓库技术及应用（Hive调优）
2301_79744714的博客
06-10 706
HiveSQL是一种声明式语言，用户提交的交互式查询，Hive会将其转换成MR任务。Hive提供EXPLAIN命令显示查询语句的执行计划，通过显示信息可以了解Hive如何将查询转换为MR。
软件1班20240607
2301_80189168的博客
06-07 2311
【代码】软件1班20240607。
05_第五章 Servlet
最新发布
weixin_65644655的博客
06-13 676
第五章 Servlet 一 Servlet简介 1.1 动态资源和静态资源 静态资源 无需在程序运行时通过代码运行生成的资源,在程序运行之前就写好的资源. 例如:html css js img ,音频文件和视频文件 动态资源 需要在程序运行时通过代码运行生成的资源,在程序运行之前无法确定的数据,运行时动态生成,例如Servlet,Thymeleaf … … 动态资源指的不是视图上的动画效果或者是简单的人机交互效果 生活举例 去蛋糕店买蛋糕 直接买柜台上已经做好的 : 静态资源 和柜
Hive优化distinct
07-20
Hive count distinct的优化可以从以下几个方面入手： 1. 数据倾斜问题：如果某个字段的值分布不均匀，可能会导致某些reduce节点的负载过重，从而影响整个查询的性能。可以通过对数据进行分桶、分区等方式来解决数据...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值