数仓工具—Hive优化

最新推荐文章于 2024-08-16 12:21:18 发布
最新推荐文章于 2024-08-16 12:21:18 发布
阅读量4.1w 收藏 11
点赞数 4
分类专栏： Hive 实战 文章标签： 大数据 sql hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/king14bhhb/article/details/111244999
版权
本文详细探讨了Hive在大数据处理中的优化策略，包括数据过滤、map和reduce任务的优化、JOIN操作的优化、数据倾斜处理、压缩存储以及内存管理和OOM优化等方面。强调了合理设置map和reduce个数、避免小文件过多、利用MapJoin和Bucketing以及处理数据倾斜问题的重要性。通过对Hive参数的调整和优化，可以显著提高Hive查询的性能和效率。
摘要由CSDN通过智能技术生成

数据过滤

行过滤

  • 行处理：在分区剪裁中，当使用外关联时，如果将副表的过滤条件写在Where后面，那么就会先全表关联，之后再过滤，

列过滤

  • 列处理：在SELECT中，只拿需要的列，如果有，**尽量使用分区过滤，少用SELECT ***。

map 个数

input目录的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到，该参数不能自定义修改)；

如果一个任务有很多小文件（远远小于块大小128m），则每个小文件也会被当做一个块，用一个map任务来完成，而一个map任务启动和初始化的时间远远大于逻辑处理的时间，就会造成很大的资源浪费。而且，同时可执行的map数是受限的

是不是保证每个map处理接近128m的文件块，就高枕无忧了，答案也是不一定。比如有一个127m的文件，正常会用一个map去完成，但这个文件只有一个或者两个小字段，却有几千万的记录，如果map处

了解本专栏 订阅专栏 解锁全文 超级会员免费看
不二人生
关注
专栏目录
订阅专栏
数仓工具—Hive进阶之优化map任务数量(9)
11-09 6万+
控制 map 任务数量 为什么要控制 map 数量 我们先来了解下什么情况要设置 map 数量。一般来讲，map 数量默认，不需要我们设置，一般情况下，Hive 自己就可以知道到底使用多少个map。 但是，当我们明确知道表的数据量不大，而 Hive 运行启动了几千个 map 的时候，就有必要减小 map 的数量了。好比 1000 个西瓜没必要安排 100 辆车去拉，安排 2 辆车就可以搞定了。 另一方面，当我们发现 map 数量不多，但 map 运行速度极慢的时候。这时可以看一下数据，看看实际需求是不是很大
Hive数据倾斜的优化配置
AriesLY0411的博客
03-09 2203
Hive本质 Hive的本质其实就是 Hdfs+MapReduce，HDFS存储、MR执行任务 发生数据倾斜的原因 1.数据本身倾斜 内容倾斜、group by倾斜、小表Join大表 2.过多 Join过多导致Job过多、小文件过多、Mapper或Reducer过多 3.SQL语句使用问题 count（distinct）->全盘扫描 join ... where 笛卡尔乘积 关于数据倾斜见我的博客： 大数据常见问题：数据倾斜的原理及处理方案_AriesLY0411的博客-CSDN
hive数据倾斜优化
shi_xiansheng的博客
10-16 398
1、什么是数据倾斜？ 由于数据分布不均匀，造成数据大量的集中到一点，造成数据热点 2、主要表现：任务进度长时间维持在 99%或者 100%的附近，查看任务监控页面，发现只有少量 reduce子任务未完成，因为其处理的数据量和其他的 reduce 差异过大。单一 reduce 处理的记录数和平均记录数相差太大，通常达到好几倍之多，最长时间远大于平均时长。 3、容易数据倾斜情况 4、产生数...
Hive的优化大全,超过16种优化,详细篇,附带mysql数据库的优化
最新发布
qq_55006020的博客
08-16 1197
hive的十六种优化的原理和代码; mysql的优化方式 介绍
hive数据倾斜的优化
weixin_47699191的博客
07-29 750
一.join操作数据倾斜 1.mapjoin map join 默认开启 set hive.auto.convert.join = true（0.11版本后默认是true） set hive.mapjoin.smalltable.filesize=25000000（设置小表的大小，默认就是25M） 不管大小表放左边还是右边,自动将小表放入内存,然后在map端顺序扫描大表跟内存中的数据进行join,没有reduce阶段,没有shuffle 2.类型不一致 关联字段不一致引发的数据倾斜操作有一个a表关联字段是
hive大数据倾斜总结
鲍礼彬的CSDN博客 ~_~
05-19 1462
在做Shuffle阶段的优化过程中，遇到了数据倾斜的问题，造成了对一些情况下优化效果不明显。主要是因为在Job完成后的所得到的Counters是整个Job的总和，优化是基于这些Counters得出的平均值，而由于数据倾斜的原因造成map处理数据量的差异过大，使得这些平均值能代表的价值降低。Hive的执行是分阶段的，map处理数据量的差异取决于上一个stage的reduce输出，所以如何将数据均匀的
hive数仓、hive SQL 、 hive自定义函数 、hive参数深入浅出
03-24
通过以上内容的学习，你将能熟练掌握Hive在大数据处理中的运用，理解其数仓设计原则，编写高效的Hive SQL查询，以及根据业务需求定制函数，并懂得如何调整参数来优化Hive的运行效率。在实践中，你可以结合实际数据集...
数仓工具Hive必知必会
JayLaiSCUT的博客
07-26 477
1 Hive架构图 1.1 客户端 用户通过客户端访问Hive，简单查询一般在Linux上使用belline进行交互；对于Java程序，可以通过JDBC访问Hive。 1.2 Metastore 元数据相关，Hive默认存储在Derby数据库，缺点用户不能同时执行两个Hive CLI实例，因此实际生产中常常使用Mysq进行替代。 1.3 解析器、编译器、优化器和执行器 1）解析器：将SQL字符串转换成抽象语法树AST，这一步一般都用第三方工具库完成，比如antlr；对AST进行语法分析，比如表是否存在、字段
[数仓]三、离线数仓（Hive数仓系统）
weixin_44428807的博客
07-08 927
Hive引擎包括：默认MR、tez、sparkHive on Spark：Hive既作为存储元数据又负责SQL的解析优化，语法是HQL语法，执行引擎变成了Spark，Spark负责采用RDD执行。Spark on Hive: Hive只作为存储元数据，Spark负责SQL解析优化，语法是SparkSQL语法，Spark负责采用RDD执行。
hive数据倾斜优化策略
热门推荐
小宁哥博客
05-13 1万+
友情提示：更多有关大数据、人工智能方面技术文章请关注博主个人微信公众号：高级大数据架构师！ Hive数据倾斜 Group By 中的计算均衡优化 1.Map端部分聚合 先看看下面这条SQL，由于用户的性别只有男和女两个值 （未知）。如果没有map端的部分聚合优化，map直接把groupby_key 当作reduce_key发送给reduce做聚合，就会导致计算不均衡的现...
HIVE调优-数据倾斜优化（详细版）
2301_77836489的博客
05-14 1078
如果当前的Reduce数量为1，那么也没有优化的效果，可以通过设置reduce的数量对不同分区中的数据进行拆分排序。全局排序操作, 只有一个Reduce任务去对数据进行排序，会造成全部的数据堆积在一个Reduce任务中进行处理。2.数据重复，在关联时，会产生笛卡尔积，致使数据膨胀，严重的可能会导致集群挂掉。通过调整该参数，使得有倾斜的数据在Map reduce过程中 被随机的从Map端发送到Reduce端进行处理，reduce会对随机发送过来的数据进行 初步的处理，之后再进行后续的统计。
Hive优化(4)——数据倾斜优化
麦当当的博客
05-11 1322
数据倾斜是指在数据处理或计算过程中，某些数据分布不均匀，导致部分计算节点负载过重，从而影响整体计算性能。针对数据倾斜进行优化可以提高计算效率和资源利用率。：在数据加载或处理之前，对数据进行预处理，通过数据采样、数据分桶等方法，尽量均匀地分布数据，减少倾斜的可能性。：将数据按照某种规则或算法进行分片，使得每个分片中的数据量相对均匀，降低数据倾斜的程度。：选择合适的数据结构，如哈希表、树结构等，可以减少数据倾斜对计算性能的影响。例如，使用哈希分区可以将数据均匀地分布到不同的节点上。
【Hive-优化】Hive的优化方式四（数据倾斜优化）
weixin_53543905的博客
02-27 944
1、对于skewjoin.key，在执行job时，将它们存入临时的HDFS目录，其它数据正常执行。2、对倾斜数据开启map join操作（多个map并行处理），对非倾斜值采取普通join操作。操作是否支持倾斜数据的负载均衡处理。开启skewin以后，究竟多大的数据才会被认为是倾斜了的数据呢？如果数据量很大或者出现了数据倾斜比较严重的情况，如何来优化呢？应用了表连接倾斜优化以后，会在执行计划中插入一个新的。中存储的有数据倾斜信息时，才能生效。操作，并输出结果，这样处理的结果是。阶段的执行时间，提升总体性能。
Hive的数据倾斜以及优化策略
qq_41359684的博客
01-06 402
一、hive的数据倾斜 介绍：只要在分布式一定有shuffle，避免不了出现数据倾斜，在混淆数据的过程中出现数据分布不均匀。比如：在MR编程中reducetask阶中的数据的大小不一致，即很多的数据集中到了一个reducetask中，hive的数据倾斜就是mapreduce的数据倾斜 maptask reducetask最后就是reducetask阶段的数据倾斜。不会产生数据倾斜的场景：   ...
Hive 数据倾斜与Map个数与Reduce个数相关
大数据流浪法师的学习笔记与分享
11-28 390
Map数 通常情况下，作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有： input的文件总个数， input的文件大小， 集群设置的文件块大小(目前为128M，可在hive中通过set dfs.block.size;命令查看到，该参数不能自定义修改)； 举例： a)一个大文件： 假设input目录下有1个文件a，大小为780M，那么hadoop会将该文件a分隔成7个块（...
hive join 数据倾斜 真实案例
bitcarmanlee的博客
06-16 1万+
hive或者MR处理数据，不怕数据量大，就怕倾斜。本博主就遇到了一个真实案例，特意记录下来，有需要的同学可以参考1.查了5个小时还没结束的sql语句set mapred.reduce.tasks = 30; insert overwrite directory 'xxx' select cus.idA,cus.name,addr.bb from tableA as cus join tableB a
Hive解决数据倾斜的各种优化方法
TRX的博客
01-20 6033
一、概念 数据处理中的数据倾斜：个人理解，在数据处理的MapReduce程序中，由于数据的特殊性，数据中存在大量相同key的数据，根据业务需求需要对这个key进行分区操作（group by/join）时，在map的partition阶段将大数据量的相同key的数据全部分配到同一个Reduce，导致Reduce的节点数据量分配极度不均衡的现象，称为数据倾斜。 数据倾斜有哪些表现： 最直观的表现就是：Hive SQL运行得慢 任务进度长时间维持在99%（或100%），查看任务监控页面，发现只有少量.
Hadoop hive 数仓的基本原理
07-27
Hadoop Hive 是构建在 Hadoop 生态系统上的数据仓库基础设施，它提供了一种类似于 SQL 的查询语言，用于处理和分析存储在 Hadoop 分布式文件系统（HDFS）中的大规模数据。 Hive 的基本原理如下： 1. 数据存储：Hive 将数据以表的形式存储在 HDFS 上，数据可以是结构化、半结构化或非结构化的。Hive 表定义包含表的结构（例如列和数据类型）以及数据的存储位置。 2. 元数据管理：Hive 使用元数据来管理表和表之间的关系。元数据包括表的结构、分区信息、表的存储位置等。Hive 的元数据可以使用自带的 Derby 数据库或者外部数据库（如 MySQL）进行存储。 3. 查询优化与执行：Hive 提供了类似于 SQL 的查询语言 HiveQL，用户可以使用 HiveQL 编写查询语句。当用户提交查询时，Hive 会进行查询优化，生成一个逻辑执行计划，并将其转换为 MapReduce 作业或 Tez 任务来执行。 4. 数据转换与计算：Hive 支持用户定义的函数（UDF）和自定义聚合函数（UDAF），用户可以使用这些函数来进行数据转换和计算。Hive 还提供了一些内置函数，用于常见的数据操作和处理。 5. 数据分区与分桶：Hive 支持数据的分区和分桶，可以根据某个列的值将数据划分为多个分区，或者根据某个列的哈希值将数据划分为多个桶。这样可以提高查询性能和数据处理效率。 通过上述原理，Hive 提供了一种方便的方式来处理和分析大规模数据，并且能够与其他 Hadoop 生态系统工具（如Hadoop MapReduce、HBase等）进行无缝集成。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

不二人生

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值