小白篇(七)：大数据HiveSql优化

最新推荐文章于 2024-05-30 10:31:03 发布
最新推荐文章于 2024-05-30 10:31:03 发布
阅读量409 收藏 1
点赞数
分类专栏： 分享 文章标签： 大数据 hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/belialxing/article/details/109556642
版权
本文介绍了HiveSql优化的重要性，包括降低资源使用、减少执行时间等，并详细阐述了MapReduce的工作流程。通过观察日志、执行计划分析以及提供多种HiveSql编写技巧，如小表前置、避免复杂逻辑、使用insert into等，帮助读者掌握HiveSql优化实践。
摘要由CSDN通过智能技术生成

获取原文

 

简短介绍

大家好，这些天要转凉了。注意多添几件衣服哦。同时人多的地方大家多注意防范新冠病毒，虽然国内控制了但是以防万一嘛。言归正传，今天给大家分享下HiveSql优化。

 

 

01-为什么要优化HiveSql

 

是不是有很多小伙伴,上完一天班之后感觉啥也没干呢？是不是每天就跑了几次HiveSql一天就结束了呢？

那么优化HiveSql可以给我们带来如下的提升：

  • 1、有效的降低集群资源使用率

  • 2、有效减少Sql执行耗时

  • 3、有助于个人对Hive底层运行原理的理解

  • 4、让个人拥有更多的充实感和成就感

是不是每天可以执行更多HiveSql了，做更多的数据需求了呢？^_^

 

 

02-MapReduce工作流程

了解底层技术引擎的工作流程，能够更好的告诉我们该如何优化。

MapReduce工作流程图

 

MapReduce工作流程图

说明

最低0.47元/天 解锁文章
belialxing
关注
专栏目录
Hive/HiveSQL常用优化方法全面总结
大数据Hive教程
01-06 766
Hive作为大数据领域常用的数据仓库组件，在平时设计和查询时要特别注意效率。影响Hive效率的几乎从不是数据量过大，而是数据倾斜、数据冗余、job或I/O过多、MapReduce分配不合理等等。对Hive的调优既包含对HiveSQL语句本身的优化，也包含Hive配置项和MR方面的调整。 目录 列裁剪和分区裁剪 谓词下推 sort by代替order by group by代替distin...
hiveSQL
楠楠的博客
01-11 3012
Hive提供了很多的函数，可以在命令行下显示函数罗列所有的函数，你会发现这些函数名与mysql的很相近，绝大多数相同的，可通过描述函数functionName查看函数使用方法。 hive支持的数据类型很简单就INT（4字节整数），BIGINT（8 字节整数），FLOAT（单精度），DOUBLE（双精度），BOOLEAN，STRING等原子类型，连日期时间类型也不支持，通过TO_DATE，
大数据学习之HiveSQL
weixin_48205015的博客
03-08 2505
HiveSQL
Hive调优（SQL）
qq_49001678的博客
08-24 271
hive 0.7 的时候这个计算是自动化的，它首先会自动判断哪个是小表，哪个是大表，这个参数由（hive.auto.convert.join=true）来控制，然后控制小表的大小由（hive.smalltable.filesize=25000000）参数控制（默认是25M），当小表超过这个大小，hive会默认转化成common join；影响Hive效率的不仅仅是数据量过大；第一个job会将map端数据随机输入reducer，每个reducer做部分聚合，相同的key就会分布在不同的reducer中；
sql大数据量优化总结
weixin_40010498的博客
05-27 805
以mysql分页为例 一、大数据量分页查询 单表但数据量分页问题 （1）没有where语句 分页查询，查询表ID，使用主键索引，加快查询速度 （2）有where语句 创建符合索引，where条件和id，查询只查复合索引字段 如果id是自动增长的数字类型的，可以使用条件过滤，过滤后再分页 多表联查的数据量分页问题 遵守单表分页的规则，单表先查询分页后联表 二、索引的建立 1、单索引： 适合建在where条件只有一个的，或联表查询的字段上 2、联合索引：多个条件查询，单索引识别度低的时候，最好使用联
《离线和实时大数据开发实战》（五）Hive 优化实践_大数据hive离线计算开发实战
2401_84185951的博客
04-28 1008
但正如上述所言，现实世界的二八准则将导致订单集中在部分供应商上，而好的供应商的评级通常会更高，此时更加剧了数据倾斜的程度。如果不加以优化，上述 SQL 将会耗费很长时间，甚至运行不出结果！通常来说，供应商是有限的，比如上千家、上万家，数据量不会很大，而销售明细事实表比较大，这就是典型的大表 join 小表问题，可以通过 mapjoin 的方式来优化，只需添加即，如果需要 mapjoin 多个表，则格式为。
大数据之Hive总结篇及Hive优化
juan777的博客
02-04 1555
Hive学习也有一段时间了，今天来对Hive进行一个总结，谈谈自己的理解，作者还是个小白，有不对的地方请大家指出相互学习，共同进步。今天来谈一谈什么是Hive，产生背景，优势等一系列问题。 什么是Hive 先来谈谈自己的理解： 有些人可能会说Hive不就是写SQL的吗，那我们其实可以从另一个角度来理解:Hive就是那么强大啊，只要写SQL就能解决问题，其实这些人说的也没错Hive...
大数据性能优化.pptx
07-26
包含hadoop架构及介绍。大数据性能优化，sql优化，mr调优等。每个优化方法都有实际案例说明，小白也可以看懂的哟！
2024年最新大数据Hive（介绍+安装+使用）(3)
2401_84181273的博客
05-03 54
人员学习成本太高需要掌握java、Python等编程语言，MapReduce实现复杂查询逻辑开发难度太大。
HiveSQL常用优化技巧
二八定律法则
06-01 1540
HiveSQL常用优化技巧
大数据HiveSQL学习笔记二
lucky_myj的博客
08-27 126
大数据HiveSQL学习笔记二 一、数据库操作 1、创建数据库 CREATE (DATABASE/SCHEMA) [IF NOT EXISTS] database_name [COMMENT database_comment] [LOCATION hdfs_path] [WITH DBPROPERTIES (property_name=property_value,…)]; 例如： create database if not exists test_hive; 2、查看数据库信息 desc databas
大数据之HiveSQL调优
qq_27924553的博客
01-07 732
1、HiveSQL调优概述 1.1、优化原因 ①数据倾斜 ②数据冗余 ③Job或I/O过多 ④MapReduce分配不合理 1.2、优化方式 ①对HiveSQL语句本身的优化 ②Hive配置项的调整 ③MR的调整 2、HiveSQL本身优化 2.1、列裁剪和分区裁剪 列裁剪就是在查询时只读取需要的列，分区裁剪就是只读取需要的分区 select uid,event_type,record_data from calendar_record_log where pt_date >= 201902
HiveSql优化
user_zongji的博客
05-02 1459
Hive SQL的各种优化方法基本 都和数据倾斜密切相关。 　　Hive的优化分为join相关的优化和join无关的优化，从项目的实际来说，join相关的优化占了Hive优化的大部分内容，而join相关的优化又分为mapjoin可以解决的join优化和mapjoin无法解决的join优化。 1、Hive优化(这是重点) 在实际的Hive SQL开发的过程中，Hive SQL 性能的问题上实际上只...
HIVE大数据平台SQL优化分享
wowulita123的博客
05-11 962
此文章是大数据平台运维组从多维度参数（CPU，内存，运行时长等）筛选出TOP任务，联合数据开发人员进行优化，最终出具优化方案优化跑批作业的业务逻辑，SQL逻辑等，并跟进方案落地和报告整理。
大数据开发之Hive SQL优化思路分享
m0_58371965的博客
09-22 78
Hive的优化主要分为：配置优化、SQL语句优化、任务优化等方案。 其中在开发过程中主要涉及到的可能是SQL优化这块。 优化的核心思想是： 减少数据量（例如分区、列剪裁） 避免数据倾斜（例如加参数、Key打散） 避免全表扫描（例如on添加加上分区等） 减少job数（例如相同的on条件的join放在一起作为一个任务） HQL语句优化 1、使用分区剪裁、列剪裁 在分区剪裁中，当使用外关联时，如果将副表的过滤条件写在Where后面，那么就会先全表关联，之后再过滤。 select a.* f
大数据Hive系列之Hive常用SQL
热门推荐
飞翔的博客
08-22 1万+
1. hive导出数据到hdfs 语法：export table 表名 to '输出路径'; 例子：export table cloud.customer to '/tmp/hive/customer'; 2. beeline连接 $ beeline 语法：beeline> !connect jdbc:hive2://主机名:10000 用户名 密码 例子：beeline&g...
HiveQL性能调优-概览
最新发布
lu070828的博客
05-30 885
1、HiveQL 在执行时会转化为各种计算引擎的能够运行的算子，这里以mr引擎为切入点，要想让HiveQL 的效率更高，就要理解HiveQL 是如何转化为MapReduce任务的2、hive是基于hadoop的，分布式引擎采用mr、spark、tze，调度使用的yarn，分布式存储使用的hdfs，而一般大数据的性能瓶颈往往在带宽消耗和磁盘IO，cpu往往不是瓶颈。因此hive优化的焦点是如何降低作业的IO和带宽消耗。
大数据——Hive SQL优化
长不大的大灰狼
09-13 1147
Hive SQL优化
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值