Hive 核心知识点灵魂 16 问

本文目录

  • No1. 请谈一下 Hive 的特点
  • No2. Hive 底层与数据库交互原理?
  • No3. Hive  HSQL 转换为 MapReduce 的过程?
  • No4. Hive 的两张表关联,使用 MapReduce 怎么实现?
  • No5. 请说明 hive  Sort ByOrder ByCluster ByDistrbute By 各代表什么意思?
  • No6. 写出 hive  splitcoalesce  collect_list 函数的用法(可举例)?
  • No7. Hive 有哪些方式保存元数据,各有哪些特点?
  • No.8 内部表和外部表的区别,以及各自的使用场景
  • No9. Hive 中的压缩格式 TextFileSequenceFileRCfile ORCfile 各有什么区别 
    • 1. TextFile
    • 2. SequenceFile
    • 3. RCFile
    • 4. ORCFile
  • No10. 所有的 Hive 任务都会有 MapReduce 的执行吗?
  • No11. Hive 的函数:UDFUDAFUDTF 的区别?
  • No12. 说说对 Hive 桶表的理解?
  • No13. Hive 表关联查询,如何解决数据倾斜的问题?
  • No14. 了解过 Hive 的哪些窗口函数
  • No.15 小文件是如何产生的,解决方案
  • No.16 Tez 引擎优点

1请谈一下 Hive 的特点

        hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的 sql 查询功能,可以将 sql 语句转换为MapReduce 任务进行运行。

        其优点是学习成本低,可以通过类 SQL 语句快速实现简单的 MapReduce 统计,不必开发专门的 MapReduce 应用,十分适合数据仓库的统计分析,但是 Hive 不支持实时查询。        

2Hive 底层与数据库交互原理?

        由于 Hive 的元数据可能要面临不断地更新、修改和读取操作,所以它显然不适合使用 Hadoop 文件系统进行存储。

        目前 Hive 将元数据存储在 RDBMS 中,比如存储在 MySQLDerby 中。元数据信息包括:存在的表、表的列、权限和更多的其他信息。

3Hive  HSQL 转换为 MapReduce 的过程?

        HiveSQL -> AST(抽象语法树) -> QB(查询块) -> OperatorTree(操作树)-> 优化后的操作树 -> mapreduce 任务树 -> 优化后的 mapreduce 任务树

        过程描述如下:

        SQL ParserAntlr 定义 SQL 的语法规则,完成 SQL 词法,语法解析,将 SQL 转化为抽象语法树 AST Tree

        Semantic Analyzer:遍历 AST Tree,抽象出查询的基本组成单元 QueryBlock

        Logical plan:遍历 QueryBlock,翻译为执行操作树 OperatorTree

        Logical plan optimizer: 逻辑层优化器进行 OperatorTree 变换,合并不必要的 ReduceSinkOperator,减少 shuffle 数据量;

        Physical plan:遍历 OperatorTree,翻译为 MapReduce 任务;

        Logical plan optimizer:物理层优化器进行 MapReduce 任务的变换,生成最终的执行计划;

4Hive 的两张表关联,使用 MapReduce 怎么实现?

        如果其中有一张表为小表,直接使用 map  join 的方式(map 端加载小表)进行聚合。

        如果两张都是大表,例如分别是客户表和订单表 。那么采用联合 key,联合 key 的第一个组成部分是 join on 中的公共字段,第二部分是一个 flag0 代表表 A1 代表表 B,由此让 Reduce 区分客户信息和订单信息;在 Mapper 中同时处理两张表的信息,将 join on 公共字段相同的数据划分到同一个分区中,进而传递到一个 Reduce 中,然后在 Reduce 中实现聚合。

5请说明 hive  Sort ByOrder ByCluster ByDistrbute By 各代表什么意思?

         order by:会对输入做全局排序,因此只有一个 reducer(多个 reducer 无法保证全局有序)。只有一个 reducer,会导致当输入规模较大时,需要较长的计算时间 

        sort by:分区内有序,不是全局排序,其在数据进入 reducer 前完成排序

         distribute by:按照指定的字段对数据进行划分输出到不同的 reduce  ,结合 sory by 使用

        cluster by:当Distribute bySorts by字段相同时,可以使用Cluster by方式。Cluster by除了具有Distribute by的功能外还兼具Sort by的功能。但是排序只能是升序排序,不能指定排序规则为ASC或者DESC

6写出 hive  splitcoalesce  collect_list 函数的用法(可举例)?

        split 将字符串转化为数组,即:split('a,b,c,d' , ',') ==> ["a","b","c","d"]

        coalesce(T v1, T v2, …) 返回参数中的第一个非空值;如果所有值都为 NULL,那么返回 NULL

        collect_list 列出该字段所有的值,不去重 => select collect_list(id) from table

7Hive 有哪些方式保存元数据,各有哪些特点?

        Hive 支持三种不同的元存储服务器,分别为:内嵌式元存储服务器、本地元存储服务器、远程元存储服务器,每种存储方式使用不同的配置参数 

        内嵌式元存储主要用于单元测试,在该模式下每次只有一个进程可以连接到元存储,Derby 是内嵌式元存储的默认数据库 

        在本地模式下,每个 Hive 客户端都会打开到数据存储的连接并在该连接上请求 SQL 查询 

        在远程模式下,所有的 Hive 客户端都将打开一个到元数据服务器的连接,该服务器依次查询元数据,元数据服务器和客户端之间使用 Thrift 协议通信 

8内部表和外部表的区别,以及各自的使用场景

  • 内部表

        如果 Hive 中没有特别指定,则默认创建的表都是管理表,也称内部表。由Hive负责管理表中的数据,管理表不共享数据。删除管理表时,会删除管理表中的数据和元数据信息 

  • 外部表

        当一份数据需要被共享时,可以创建一个外部表指向这份数据 

        删除该表并不会删除掉原始数据,删除的是表的元数据。这样外部表相对来说更加安全些,数据组织也更加灵活,方便共享源数据 。当表结构或者分区数发生变化时,需要进行一步修复的操作。

9Hive 中的压缩格式 TextFileSequenceFileRCfile ORCfile 各有什么区别 

1. TextFile

        默认格式,存储方式为行存储,数据不做压缩,磁盘开销大,数据解析开销大。可结合 GzipBzip2 使用(系统自动检查,执行查询时自动解压),但使用 这种方式,压缩后的文件不支持 splitHive 不会对数据进行切分,从而无法对数据进行并行操作。并且在反序列化过程中,必须逐个字符判断是不是分隔符和行结束符,因此反序列化开销会比 SequenceFile 高几十倍 

2. SequenceFile

         SequenceFile  Hadoop API 提供的一种二进制文件支持,存储方式为行存储,其具有使用方便、可分割、可压缩的特点

        SequenceFile 支持三种压缩选择:NONERECORDBLOCKRecord 压缩率低,一般建议使用 BLOCK 压缩

        优势是文件和 hadoop api 中的 MapFile 是相互兼容的 

3RCFile

        存储方式:数据按行分块,每块按列存储。结合了行存储和列存储的优点:

        首先,RCFile 保证同一行的数据位于同一节点,因此元组重构的开销很低 

        其次,像列存储一样,RCFile 能够利用列维度的数据压缩,并且能跳过不必要的列读取;

4ORCFile

        存储方式:数据按行分块 每块按照列存储。

        压缩快、快速列存取。

        效率比 rcfile 高,是 rcfile 的改良版本。

总结       

相比 TEXTFILE  SEQUENCEFILERCFILE 由于列式存储方式,数据加载时性能消耗较大,但是具有较好的压缩比和查询响应。                

 数据仓库的特点是一次写入、多次读取,因此,整体来看,RCFILE 相比其余两种格式具有较明显的优势。

10所有的 Hive 任务都会有 MapReduce 的执行吗?

        不是,从 Hive0.10.0 版本开始,对于简单的不需要聚合的类似 SELECT from LIMIT n 语句,不需要起 MapReduce job,直接通过 Fetch task 获取数据。        

11Hive 的函数:UDFUDAFUDTF 的区别?

        UDF:单行进入,单行输出

        UDAF:多行进入,单行输出

        UDTF:单行输入,多行输出

12说说对 Hive 桶表的理解?

        桶表是对数据进行哈希取值,然后放到不同文件中存储 

         数据加载到桶表时,会对字段取 hash 值,然后与桶的数量取模。把数据放到对应的文件中。物理上,每个桶就是表(或分区)目录里的一个文件,一个作业产生的桶(输出文件) reduce 任务个数相同 

        桶表专门用于抽样查询,是很专业性的,不是日常用来存储数据的表,需要抽样查询时,才创建和使用桶表。

13 Hive 表关联查询,如何解决数据倾斜的问题?

        定位原因:

        map 输出数据按 key Hash 的分配到 reduce 中,由于 key 分布不均匀、业务数据本身的特点、建表时考虑不周、某些 SQL 语句本身就有数据倾斜等原因造成的 reduce 上的数据量差异过大。

        如何避免

        对于 key 为空产生的数据倾斜,可以对其赋予一个随机值

        解决方案:

1)参数调节:

hive.map.aggr = true 

hive.groupby.skewindata=true

        有数据倾斜的时候进行负载均衡,当选项设定位 true,生成的查询计划会有两个 MR Job。第一个 MR Job 中,Map 的输出结果集合会随机分布到 Reduce 中,每个 Reduce 做部分聚合操作,并输出结果,这样处理的结果是相同的 Group By Key 有可能被分发到不同的 Reduce 中,从而达到负载均衡的目的;

        第二个 MR Job 再根据预处理的数据结果按照 Group By Key 分布到 Reduce 中(这个过程可以保证相同的 Group By Key 被分布到同一个 Reduce 中),最后完成最终的聚合操作

2SQL语句调节:

选用 join key 分布最均匀的表作为驱动表。做好列裁剪和 filter 操作,以达到两表做 join 的时候,数据量相对变小的效果。

大小表 Join:使用 map join 让小的维度表(1000 条以下的记录条数)先进内存。在map 端完成 reduce

大表 Join 大表:把空值的 key 变成一个字符串加上随机数,把倾斜的数据分到不同的 reduce 上,由于 null 值关联不上,处理后并不影响最终结果。

④ count distinct 大量相同特殊值count distinct 时,将值为空的情况单独处理,如果是计算 count distinct 可以不用处理,直接过滤,在最后结果中加 1。如果还有其他计算,需要进行 group by,可以先将值为空的记录单独处理,再和其他计算结果进行 union

更多调优技巧可以 关注 大数据梦想家 公众号,后台回复 “hive调优即可解锁 “hive 性能调优指南” .pdf

14了解过 Hive 的哪些窗口函数

1Rank

        1RANK() 排序相同时会重复,总数不会变         

        2DENSE_RANK() 排序相同时会重复,总数会减少         

        3ROW_NUMBER() 会根据顺序计算

2 OVER()

        指定分析函数工作的数据窗口大小,这个数据窗口大小可能会随着行的变而 变化

        1CURRENT ROW:当前行         

        2 n PRECEDING:往前 n 行数据         

        3 n FOLLOWING:往后 n 行数据      

        4 UNBOUNDED :起   UNBOUNDED PRECEDING          UNBOUNDED FOLLOWING 表示到后面的终点       

        5 LAG(col,n) :往前第 n 行数据         

        6 LEAD(col,n):往后第 n 行数据         

        7 NTILE(n):把有序分区中的行分发到指定数据的组中,各个组有编号,编号从 1 开始,对于每一行,NTILE 返回此行所属的组的编号。注意:n 必须为 int 类型。

15小文件是如何产生的,解决方案

        定位原因:

        1)动态分区插入数据,产生大量的小文件,从而导致 map 数量剧增;

        2reduce 数量越多,小文件也越多(reduce 的个数和输出文件是对应的)

        3)数据源本身就包含大量的小文件。

        解决方案:

        1)在 Map 执行前合并小文件,减少 Map 数: CombineHiveInputFormat 具有对小文件 进行合并的功能(系统默认的格式)。HiveInputFormat 没有对小文件合并功能。

        2merge

SET hive.merge.mapfiles = true; 

-- 默认 true,在 map-only 任务结束时合并 小文件 

SET hive.merge.mapredfiles = true; 

-- 默认 false,在 map-reduce 任务结 束时合并小文件 

SET hive.merge.size.per.task = 268435456; 

-- 默认 256M 

SET hive.merge.smallfiles.avgsize = 16777216; 

-- 当输出文件的平均大小 小于 16m 该值时,启动一个独立的 map-reduce 任务进行文件 merge

3)开启 JVM 重用

set mapreduce.job.jvm.numtasks=10

16 Tez 引擎优点

        Tez 可以将多个有依赖的作业转换为一个作业,这样只需写一次 HDFS,且中间节点较少,从而大大提升作业的计算性能。

        Mr/tez/spark 区别:

        Mr 引擎:多 job 串联,基于磁盘,落盘的地方比较多。虽然慢,但一定能跑出结果。一般处理,周、月、年指标 

        Spark 引擎:虽然在 Shuffle 过程中也落盘,但是并不是所有算子都需要 Shuffle,尤其 是多算子过程,中间过程不落盘 DAG 有向无环图。兼顾了可靠性和效率。一般处理天指标

        Tez 引擎:完全基于内存。注意:如果数据量特别大,慎重使用。容易 OOM一般用于快速出结果,数据量比较小的场景

  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
### 回答1: Hive是一个基于Hadoop的数据仓库工具,它提供了一种类似SQL的查询语言,用于将结构化数据存储在Hadoop集群上,并进行查询和分析。下面是一些关于Hive基础知识的选择题: 1. Hive的主要特点是什么? a) 提供类似SQL的查询语言 b) 可以在Hadoop集群上进行数据存储和分析 c) 可以处理结构化和半结构化数据 d) 所有选项都正确 答案:d) 所有选项都正确 2. Hive将数据存储在哪里? a) HBase b) Hadoop Distributed File System (HDFS) c) Cassandra d) MySQL 答案:b) Hadoop Distributed File System (HDFS) 3. Hive中的表可以与以下哪种文件格式关联? a) CSV b) JSON c) Parquet d) 所有选项都正确 答案:d) 所有选项都正确 4. Hive使用什么来对数据进行分区和排序? a) HDFS b) Tez c) MapReduce d) Apache Spark 答案:c) MapReduce 5. Hive中的数据查询和分析通过什么来实现? a) Hive Query Language (HQL) b) Structured Query Language (SQL) c) Apache Hive d) Apache Hadoop 答案:a) Hive Query Language (HQL) 总之,Hive是一个基于Hadoop的数据仓库工具,具有类似SQL的查询语言,可以在Hadoop集群上存储和分析结构化和半结构化数据。它使用HDFS来存储数据,可以与多种文件格式关联,并使用MapReduce来进行数据分区和排序。数据查询和分析通过Hive Query Language (HQL)来实现。 ### 回答2: Hive是一款基于Hadoop的数据仓库工具,它提供了方便的数据查询和分析的功能。接下来我将回答一些关于Hive基础知识的选择题。 1. Hive中的表是如何定义的? 答案:C. 使用HiveQL语句创建表。 2. 在Hive中,数据是如何存储的? 答案:B. 在Hadoop的HDFS文件系统中。 3. Hive中的分区是用来做什么的? 答案:A. 对数据进行逻辑上的划分,便于查询优化和数据管理。 4. 在Hive中,可以使用哪种语言进行数据查询? 答案:D. HiveQL。 5. 在Hive中,用来处理复杂逻辑和数据运算的是什么? 答案:B. Hive的UDF(用户定义函数)和UDAF(用户定义聚合函数)。 6. Hive的数据存储格式有哪些? 答案:A. 文本文件(TextFile)、序列文件(SequenceFile)和Parquet等。 7. Hive表中的数据可以通过什么方式进行加载? 答案:C. 使用Hive的LOAD DATA语句。 8. 在Hive中,用来创建管理表结构的是什么? 答案:B. Hive元数据存储。 9. Hive的优势是什么? 答案:C. 简化了对Hadoop数据的查询和分析。 10. 使用Hive时,可以通过什么方式进行数据的导入和导出? 答案:D. 使用Hive的导入和导出命令。 以上是关于Hive基础知识的一些选择题的答案。Hive是一个功能强大且易于使用的工具,可以帮助用户更好地处理和分析大数据。掌握Hive基础知识对于进行数据仓库的建设和数据分析工作非常重要。 ### 回答3: Hive是一个开源的数据仓库基础架构,运行在Hadoop集群上。以下是关于Hive的基础知识选择题的回答: 1. Hive中的数据存储在哪里? 答:Hive中的数据存储在Hadoop分布式文件系统(HDFS)中。 2. Hive中的数据是如何组织的? 答:Hive中的数据是以表(Tables)的形式进行组织的。 3. Hive中的表的结构是如何定义的? 答:Hive中的表的结构是通过DDL语句来定义的,包括表的名称、列名称、数据类型等信息。 4. Hive中的查询语言是什么? 答:Hive中的查询语言类似于SQL,称为HiveQL或HQL。 5. Hive中的查询语句是如何转换为MapReduce作业的? 答:Hive将查询语句转换为逻辑查询计划,然后将逻辑查询计划转换为物理查询计划,最后将物理查询计划转换为MapReduce作业。 6. Hive中的分区表是什么? 答:Hive中的分区表是按照一个或多个列的值分成不同的目录,并且每个目录下存储相应分区的数据。 7. Hive中的桶是什么? 答:Hive中的桶是将数据分成固定数量的文件的一种方式,目的是提高查询性能。 8. Hive中的内部表和外部表有什么区别? 答:内部表的数据和元数据都由Hive管理,删除内部表时会删除表的数据;而外部表的数据和元数据存储在外部的文件系统中,删除外部表时只会删除元数据。 9. Hive中的UDF是什么? 答:UDF全称为用户定义函数(User-Defined Functions),是由用户自定义的用于特定数据处理操作的函数。 10. Hive中的压缩是如何实现的? 答:Hive中的压缩是通过执行MapReduce作业时将数据进行压缩,以减少数据的存储空间和提高查询性能。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

jane9872

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值