【硬刚Hive】Hive面试题(6)Hive调优全方位指南(一)

已于 2022-07-15 22:00:22 修改
阅读量712 收藏 3
点赞数
分类专栏： Hive系统性学习专栏 文章标签： hive big data
于 2021-09-10 22:07:21 首次发布
原创文章禁止转载。否则追究法律后果。
本文链接：https://blog.csdn.net/u013411339/article/details/120230492
版权
本文详细介绍了Hive的调优方法，从表层面的分区表优化、分桶表优化、选择合适的文件存储格式和压缩格式，到HQL层面的执行计划、列行分区裁剪、谓词下推等多方面展开，旨在提高Hive查询效率和性能。
摘要由CSDN通过智能技术生成

正文目录

  • 1、表层面

    1. 1.1 利用分区表优化

    2. 1.2 利用分桶表优化

    3. 1.3 选择合适的文件存储格式

    4. 1.4 选择合适的压缩格式

  • 2、HQL层面优化

    1. 2.1 执行计划

    2. 2.1 列、行、分区裁剪

    3. 2.2 谓词下推

    4. 2.3 合并小文件

    5. 2.4 合理设置MapTask并行度

    6. 2.5 合理设置ReduceTask并行度

    7. 2.6 Join优化

    8. 2.7 CBO优化

    9. 2.8 Group By优化

    10. 2.9 Order By优化

    11. 2.10 Count Distinct 优化

    12. 2.11 怎样写in/exists语句

    13. 2.12 使用 vectorization 矢量查询技术

    14. 2.13 多重插入模式

    15. 2.14 启动中间结果压缩

  • 3、Hive架构层面

    1. 3.1 启用本地抓取（

了解本专栏 订阅专栏 解锁全文 超级会员免费看
王知无(import_bigdata)
关注
专栏目录
订阅专栏
【硬刚Hive】Hive面试题(7)Hive调优全方位指南(二)
微信搜：import_bigdata，大数据领域硬核原创作者
09-10 369
欢迎关注博客主页：微信搜：import_bigdata，大数据领域硬核原创作者_王知无(import_bigdata)_CSDN博客 欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！ 本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。 2、HQL层面优化 2.1 执行计划 explain select * from movies; 2.1 列、行、分.
[完]基于Hadoop的数据仓库Hive 基础知识
无名的博客
09-21 2万+
Hive是基于Hadoop的数据仓库工具，可对存储在HDFS上的文件中的数据集进行数据整理、特殊查询和分析处理，提供了类似于SQL语言的查询语言–HiveQL，可通过HQL语句实现简单的MR统计，Hive将HQL语句转换成MR任务进行执行。一、概述1-1 数据仓库概念数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integrated）、相对稳定
Hive优化面试题
08-06 1438
对待像我这种2年开发经验的同学 一般都会被问到。 在面试中，我们只要简短的介绍就好了。 首先低调一波，我可能懂的比你少，我就简单说说 1.在排序中，我们使用的是sortBy,它是基于索引，效率高于order by 2.我们在分区的时候采用静态分区，静态分区只是读取配置文件，而动态分区需要重复的读取其它分区的标识，大量的制造了不必要的开销 3.在对待groupBy的数据倾斜的方面...
hive调优之hive架构层面
starzy
03-03 243
启动本地抓取 Hive 的某些 SQL 语句需要转换成 MapReduce 的操作，某些 SQL 语句就不需要转换成 MapReduce 操作，但是需要注意，理论上来说，所有的 SQL 语句都需要转换成 MapReduce 操作，只不过Hive 在转换 SQL 语句的过程中会做部分优化，使某些简单的操作不再需要转换成 MapReduce，例如： 只是select * 查询操作 where条件只对分区字段进行筛选 带有limit分支语句 Hive 从 HDFS 中读取数据，有两种方式启用MapReduce
【Hive】学习与优化3（含常用面试题）
littlemichelle
05-28 378
【SQL刷题】SQL语法学习与面试题练习
Hive的面试题总结
Maynor的博客
05-04 664
Hive基础面试题
【硬刚Hive】Hive面试题(8)Hive调优全方位指南(三)
微信搜：import_bigdata，大数据领域硬核原创作者
09-10 422
欢迎关注博客主页：微信搜：import_bigdata，大数据领域硬核原创作者_王知无(import_bigdata)_CSDN博客 欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！ 本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。 3、Hive架构层面 3.1 启用本地抓取（默认开启） Hive 的某些 SQL 语句需要转换成 MapReduce 的操作.
Hive调优全方位指南.docx
10-19
#### 六、Hive面试题(一) 1. **Hive是什么？** - Hive是一个建立在Hadoop之上的数据仓库工具，提供SQL-like的查询语言HiveQL，用于对存储在HDFS上的大规模数据进行查询和管理。 2. **Hive与RDBMS的主要区别是什么...
【硬刚Hive】Hive面试题(4)UDF,UDTF（一）UDF
微信搜：import_bigdata，大数据领域硬核原创作者
09-10 403
欢迎关注博客主页：微信搜：import_bigdata，大数据领域硬核原创作者_王知无(import_bigdata)_CSDN博客 欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！ 本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。 1 UDF的定义 UDF（User-Defined Functions）即是用户定义的hive函数。hive自带的函数并不能完.
Hive面试题：hive调优的思路
谦卑t
12-01 2689
1、 好的模型设计 2 、解决数据倾斜 3 、减少job数 4 、设置合理的map reduce的task数 5 、对小文件进行合并 6 、单个作业最优不如整体最优
Hive | 4万字性能调优面试总结2
SunEclipse的专栏
05-26 282
HiveSQL语法原理 hive的DDL语法 对数据库的操作 创建数据库: create database if not exists myhive; 说明：hive的表存放位置模式是由hive-site.xml当中的一个属性指定 的 :hive.metastore.warehouse.dir 创建数据库并指定hdfs存储位置 : create database myhive2 location '/myhive2'; 修改数据库: alter database myh
hive面试题
libaowenBlog的博客
09-02 1366
什么是 Hive？Hive结构描述Hive的优势内部表、外部表、分区表、分桶表hive中 排序的种类和适用场景动态分区和静态分区的区别 + 使用场景hive 语句执行顺序Hive的几种存储方式列式存储的好处HQL转化为MapReduce的过程Hive 和关系型数据库的区别Hive和HBase的对比区别Hive 小文件问题及解决Hive调优及优化列裁剪和分区裁剪谓词下推聚合类group by操作，发生数据倾斜Join 优化设置合理的map reduce的task数量sort by代替order by。
大剑无锋之Hive调优【面试推荐】
乔治大哥的博客
12-02 236
1.Fetch抓取 Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT * FROM employees;在这种情况下，Hive可以简单地读取employee对应的存储目录下的文件，然后输出查询结果到控制台。 2.本地模式 对于大多数这种情况，Hive可以通过本地模式在单台机器上处理所有的任务。对于小数据集，执行时间可以明显被缩短。 ...
大数据面试(Hive优化)
weixin_43915186的博客
04-23 275
Hive优化 MapJoin 如果不指定MapJoin或者不符合MapJoin的条件，那么Hive解析器会将Join操作转换成Common Join，即：在Reduce阶段完成Join，容易发生数据倾斜，可以用MapReduce把小表全部加载到内存，在map端进行join，避免reduce处理 行列过滤 列处理：在select中，只拿需要的列，如果有，尽量使用分区过滤，少用select * 行处...
面试|不可不知的十大Hive调优技巧最佳实践
大数据星球-浪尖
11-18 722
Apache Hive是建立在Apache Hadoop之上的数据仓库软件项目，用于提供数据查询和分析。Hive是Hadoop在HDFS上的SQL接口，它提供了类似于SQL的接口来查询存...
大数据面试题-Hive的常用企业优化
天道酬勤
04-18 343
一、慎用常用内置的api 数据量大尽量避免使用 count(distinct) ，这会导致所有数据在一个 reduce 内去重，导致运行缓慢，使用 group by 来代替 二、合理调整 map 数 和 reduce 数 下面我们列举几个常见的场景来分别进行调优 场景1 一个文件128M（一个 block 块的大小），但只有两列，数据量为几千万行，但只会产生一个 MapReduce 解决方案： -...
面试题整理(Hive)
热门推荐
学习笔记
08-05 3万+
1. Hive数据倾斜 原因 key分布不均匀 业务数据本身的特性 SQL语句造成数据倾斜 解决方法 hive设置hive.map.aggr=true和hive.groupby.skewindata=true 有数据倾斜的时候进行负载均衡，当选项设定为true,生成的查询计划会有两个MR Job。第一个MR Job中，Map的输出结果集合会随机分布到Reduce中，每个Reduce做...
Hive面试题汇总大全
hongmofang10的博客
03-06 7149
1 什么是hive？ Hive 是基于Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL 查询功能。 本质是：将HQL 转化成MapReduce 程序 1）Hive 处理的数据存储在HDFS 2）Hive 分析数据底层的实现是MapReduce 3）执行程序运行在Yarn 上 2 Hive的优缺点 优点： 1 操作接口采用类SQL 语法，提供快速开发的能力（简单、容易上手）。 2 避免了去写MapReduce，减少开发人员的学习成本。 3 Hive 的执行延迟比较高
Hive SQL经典面试题：连续登录与留存分析
本文档提供了2024年最新Hive SQL的经典面试题，主要关注于大数据环境下的SQL技能。以下是其中涉及的主要知识点： 1. **连续登录n天的用户** - 题目背景：给定一个user_login表，包含用户ID(user_id)和登录日期...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

王知无(import_bigdata)

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值