一文弄懂Hive基本架构和原理

最新推荐文章于 2024-05-07 09:55:43 发布
最新推荐文章于 2024-05-07 09:55:43 发布
阅读量1.5w 收藏 119
点赞数 21
分类专栏： 大数据：Hive 一文弄懂系列 文章标签： Hive 数据倾斜 性能优化 执行计划
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/oTengYue/article/details/91129850
版权

文章目录

概述

Hive是建立在 Hadoop 上的数据仓库基础构架。

它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。

Hive 定义了简单的类 SQL 查询语言，称为 HQL，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 mapper 和 reducer 无法完成的复杂的分析工作。

可以将SQL 查询转换为MapReduce 的job 在Hadoop集群上执行。

官方文档：https://cwiki.apache.org/confluence/display/Hive/Home

Hive架构

在这里插入图片描述
从架构图上可以很清楚地看出Hive和Hadoop（MapReduce，HDFS）的关系。

  • Hive是最上层，即客户端层或者作业提交层。
  • MapReduce/Yarn是中间层，也就是计算层。
  • HDFS是底层，也就是存储层。

facebook的一张架构图
在这里插入图片描述
从Facebook的图上可以看出，Hive主要有QL，MetaStore和Serde三大核心组件构成。QL就是编译器，也是Hive中最核心的部分。Serde就是Serializer和Deserializer的缩写，用于序列化和反序列化数据，即读写数据。MetaStore对外暴露Thrift API，用于元数据的修改。比如表的增删改查，分区的增删改查，表的属性的修改，分区的属性的修改等。

Hive数据模型

在这里插入图片描述

Hive元数据信息存储在Hive MetaStore中，如文件路径、文件格式、列、数据类型、分隔符，Hive默认的分格符有三种，分别是A(Ctrl+A)、B和^C，即ASCii码的1、2和3，分别用于分隔列，分隔列中的数组元素，和元素Key-Value对中的Key和Value。
Hive 中所有的数据都存储在 HDFS 中，Hive 中包含以下数据模型：Table，External Table，Partition，Bucket。
(1)表table：一个表就是hdfs中的一个目录
(2)区Partition：表内的一个区就是表的目录下的一个子目录
(3)桶Bucket：如果有分区，那么桶就是区下的一个单位，如果表内没有区，那么桶直接就是表下的单位，桶一般是文件的形式。

Hive SQL的编译

一条SQL，进入的Hive。经过上述的过程，其实也是一个比较典型的编译过程变成了一个作业。
在这里插入图片描述
Hive是如何将SQL转化为MapReduce任务的，整个编译过程分为六个阶段：

(1)Antlr定义SQL的语法规则，完成SQL词法，语法解析，将SQL转化为抽象语法树AST Tree

(2)遍历AST Tree，抽象出查询的基本组成单元QueryBlock

(3)遍历QueryBlock，翻译为执行操作树OperatorTree

(4)逻辑层优化器进行OperatorTree变换，合并不必要的ReduceSinkOperator，减少shuffle数据量

(5)遍历OperatorTree，翻译为MapReduce任务

(6)物理层优化器进行MapReduce任务的变换，生成最终的执行计划

Hive执行计划

可以通过查看Explain查看一个一个SQL如何变成MapReduce作业的过程的过程，例如在hive cli中执行：explain sql语句就能看到

官网LanguageManual Explain：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Explain#LanguageManualExplain-TheASTClause
在这里插入图片描述
下面是执行的一个例子：
Xnip2019-06-06_14-08-13

Hive Sql的MapReduce实现原理

hive把复杂sql分解成多个MapReduce chain执行，各MR的中间结果存在为hdfs的临时文件，然后链式跑完即可获得最终结果。因此，只需明白其核心即可见微知著，下面介绍join、group by和distinct原理（直接摘抄美团技术团队的总结，so 感谢）：

Join的实现原理

select u.name, o.orderid from order o join user u on o.uid = u.uid;
在map的输出value中为不同表的数据打上tag标记，在reduce阶段根据tag判断数据来源。MapReduce的过程如下（这里只是说明最基本的Join的实现，还有其他的实现方式）
在这里插入图片描述

Group By的实现原理

select rank, isonline, count(*) from city group by rank, isonline;
将GroupBy的字段组合为map的输出key值，利用MapReduce的排序，在reduce阶段保存LastKey区分不同的key。MapReduce的过程如下（当然这里只是说明Reduce端的非Hash聚合过程）
在这里插入图片描述

Distinct的实现原理

select dealid, count(distinct uid) num from order group by dealid;
当只有一个distinct字段时，如果不考虑Map阶段的Hash GroupBy，只需要将GroupBy字段和Distinct字段组合为map输出key，利用mapreduce的排序，同时将GroupBy字段作为reduce的key，在reduce阶段保存LastKey即可完成去重
在这里插入图片描述

Hive文件压缩和文件存储

hive对文件的压缩是对内容的压缩，也就是说对文件的压缩不是先生成文件，再对文件压缩，而是在生成文件时，对其中的内容字段进行压缩，最终压缩后，对外仍体现为某种具体的压缩文件。

常用的压缩编解码器如下表：
在这里插入图片描述

常用的文件格式：
（1） Textfile

文本格式，Hive的默认格式，数据不压缩，磁盘开销大、数据解析开销大。可结合Gzip、Bzip2使用，但使用Gzip这种方式，hive不会对数据进行切分，从而无法对数据进行并行操作。行式存储
对应的hive API为：org.apache.hadoop.mapred.TextInputFormat和org.apache.hive.ql.io.HiveIgnoreKeyTextOutputFormat

（2）SequenceFile

Hadoop提供的一种二进制文件格式是Hadoop支持的标准文件格式（其他生态系统并不适用），可以直接将对序列化到文件中,所以sequencefile文件不能直接查看，可以通过Hadoop fs -text查看。具有使用方便，可分割，可压缩，可进行切片。压缩支持NONE, RECORD, BLOCK(优先)等格式，可进行切片。行式存储
对应hive API为：org.apache.hadoop.mapred.SequenceFileInputFormat和org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat

（3）RCFile

是一种行列存储相结合的存储方式，先将数据按行进行分块再按列式存储，保证同一条记录在一个块上，避免读取多个块，有利于数据压缩和快速进行列存储。列式存储
对应的hive API为：org.apache.hadoop.hive.ql.io.RCFileInputFormat和org.apache.hadoop.hive.ql.io.RCFileOutputFormat

（4）ORCFile

orcfile是对rcfile的优化，可以提高hive的读写、数据处理性能，提供更高的压缩效率（目前主流选择之一）。列式存储

（5）Parquet

一种列格式, 可提供对其他 hadoop 工具的可移植性, 包括Hive, Drill, Impala, Crunch, and Pig
对应的hive API为：org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat和org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat

（6）Avro

Avro是一个数据序列化系统，设计用于支持大批量数据交换的应用。它的主要特点有：支持二进制序列化方式，可以便捷，快速地处理大量数据；动态语言友好，Avro提供的机制使动态语言可以方便地处理Avro数据。
对应的hive API为：org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat和org.apache.hadoop.hive.ql.io.avro.AvroContainerOutputFormat

几种文件存储格式的性能测试结果：

存储格式ORCSequencefileParquetRCfileAvro
数据压缩后大小1.8G67.0G11G63.8G66.7G
存储耗费时间535.7s625.8s537.3s543.48544.3
SQL查询响应速度19.63s184.07s24.22s88.5s281.65s

实践中常用的压缩+存储可以选择（部分）
Textfile+Gzip
SequenceFile+Snappy
ORC+Snappy

Hive建表指定文件格式

[STORED AS file_format]
file_format:
  : SEQUENCEFILE
  | TEXTFILE -- (Default, depending on hive.default.fileformat configuration)
  | RCFILE -- (Note: Available in Hive 0.6.0 and later)
  | ORC -- (Note: Available in Hive 0.11.0 and later)
  | PARQUET -- (Note: Available in Hive 0.13.0 and later)
  | AVRO -- (Note: Available in Hive 0.14.0 and later)
  | JSONFILE -- (Note: Available in Hive 4.0.0 and later)
  | INPUTFORMAT input_format_classname OUTPUTFORMAT output_format_classname

注：
Hive wiki CreateTable：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-CreateTable

Hive建表指定压缩

CREATE EXTERNAL TABLE IF NOT EXISTS tb_test(
     id bigint COMMENT 'id', 
     name string COMMENT 'name'      
 )
COMMENT 'test table'
PARTITIONED BY (dt string)
STORED AS ORC
tblproperties ('orc.compress'='SNAPPY');

Hive动态设置压缩

压缩格式Hadoop压缩编码/解码器
Deflateorg.apache.hadoop.io.compress.DeflateCodec
gziporg.apache.hadoop.io.compress.GzipCodec
bzip2org.apache.hadoop.io.compress.BZip2Codec
LZOcom.hadoop.compression.lzo.LzopCodec
Lz4org.apache.hadoop.io.compress.Lz4Codec
Snappyorg.apache.hadoop.io.compress.SnappyCodec

Hive中间数据压缩

hive.exec.compress.intermediate：默认该值为false，设置为true为激活中间数据压缩功能。就是在MapReduce的shuffle阶段对mapper产生的中间结果数据压缩。在这个阶段，优先选择一个低CPU开销的算法。

set hive.exec.compress.intermediate=true;
set mapred.map.output.compression.codec=org.apache.hadoop.io.compress.SnappyCodec;

Hive最终数据压缩

hive.exec.compress.output：用户可以对最终生成的Hive表的数据通常也需要压缩。该参数控制这一功能的激活与禁用，设置为true来声明将结果文件进行压缩。

set hive.exec.compress.output=true;
set mapred.output.compression.codec=org.apache.hadoop.io.compress.SnappyCodec;

参考:
Hive支持的文件格式与压缩算法：https://my.oschina.net/hulubo/blog/915072?tdsourcetag=s_pctim_aiomsg（推荐）
File Formats：https://cwiki.apache.org/confluence/display/Hive/FileFormats
Hive文件存储格式：https://www.jianshu.com/p/694f044d1c34
Hive压缩格式：https://www.cnblogs.com/skyl/p/4740301.html
如何在MapReduce中使用SequenceFile数据格式？http://blog.itpub.net/31077337/viewspace-2214505
如何在MapReduce中使用Avro数据格式？http://blog.itpub.net/31077337/viewspace-2214709

Hive Map和Reduce数量计算

Map数量


num_Map_tasks = max[${Mapred.min.split.size}，
                min(${dfs.block.size}， ${Mapred.max.split.size})]
  • Mapred.min.split.size指的是数据的最小分割单元大小。
  • Mapred.max.split.size指的是数据的最大分割单元大小。
  • dfs.block.size指的是HDFS设置的数据块大小。

一般来说dfs.block.size这个值是一个已经指定好的值，而且这个参数Hive是识别不到的，所以实际上只有Mapred.min.split.size和Mapred.max.split.size这两个参数（本节内容后面就以min和max指代这两个参数）来决定Map数量。在Hive中min的默认值是1B，max的默认值是256MB。所以如果不做修改的话，就是1个map task处理256MB数据，我们就以调整max为主。通过调整max可以起到调整Map数的作用，减小max可以增加Map数，增大max可以减少Map数 。需要提醒的是，直接调整Mapred.Map.tasks这个参数是没有效果的。

Reduce数量

这里说的Reduce阶段，是指前面流程图中的Reduce phase（实际的Reduce计算）而非图中整个Reduce task。Reduce阶段优化的主要工作也是选择合适的Reducetask数量，跟上面的Map优化类似。
与Map优化不同的是，Reduce优化时，可以直接设置Mapred。Reduce。tasks参数从而直接指定Reduce的个数。当然直接指定Reduce个数虽然比较方便，但是不利于自动扩展。Reduce数的设置虽然相较Map更灵活，但是也可以像Map一样设定一个自动生成规则，这样运行定时Job的时候就不用担心原来设置的固定Reduce数会由于数据量的变化而不合适。

Hive估算Reduce数量的时候，使用的是下面的公式：

num_Reduce_tasks = min[${Hive.exec.Reducers.max}， 
                      (${input.size} / ${ Hive.exec.Reducers.bytes.per.Reducer})]

也就是说，根据输入的数据量大小来决定Reduce的个数，默认Hive.exec.Reducers.bytes.per.Reducer为1G，而且Reduce个数不能超过一个上限参数值，这个参数的默认取值为999。所以我们可以调整Hive.exec.Reducers.bytes.per.Reducer来设置Reduce个数。

数据倾斜

定义： 由于数据分布不均匀，造成数据热点。

现象： 一个或几个key的记录数与平均记录数差异过大，最长时长远大于平均时长。任务进度长时间维持在99%（或100%），查看任务监控页面，发现只有少量（1个或几个）reduce子任务未完成。

数据倾斜优化：一般分为join引起和group by引起分别解决。

操作原因现象
Group by分组key集中处理某key值的reduce非常耗时
Join关联key集中（例如关联字段空值过多）处理某key值的reduce非常耗时

Group by引起的数据倾斜

分两方面优化：
第一个：
set hive.map.aggr=true;
set hive.groupby.mapaggr.checkinterval=100000;
set hive.map.aggr.hash.min.reduction=0.5;
hive.map.aggr=true（默认）参数控制在group by的时候是否map局部聚合，但也不是都会局部聚合，如果聚合前后差别不是很大，聚合也就没什么意义了。
后两个设置是判断是否需要做map局部聚合，即：预先取100000条数据聚合，如果聚合后的条数/100000>0.5，则不再聚合。

第二个：
set Hive.groupby.skewindata=true;
控制启动两个MR Job完成，第一个Job先不按GroupBy字段分发，而是随机分发做一次聚合，然后启动第二个Job，拿前面聚合过的数据按GroupBy字段分发计算出最终结果。但是否生效还存在限制，详情见 Hive-hive.groupby.skewindata配置相关问题调研

Join引起的数据倾斜

优化主要分两个方向：skew join和重写业务逻辑

Skew join

set hive.optimize.skewjoin=true;
set hive.skewjoin.key=100000;
记录超过hive.skewjoin.key（默认100000）阈值的key值先写入hdfs，然后再进行一个map join的job任务，最终和其他key值的结果合并为最终结果。其过程如下图：
在这里插入图片描述

重写业务逻辑

这个需要结合具体的场景重写，例如：在日志表与用户表关联时候（通过user_id关联），直接关联可能导致user_id为null的发生数据倾斜，此时可以把日志表中user_id为null的单独处理，如下：

SELECT a.xx, b.yy FROM log a JOIN users b 
            ON a.user_id IS NOT NULL 
                AND a.user_id = b.user_id 
UNION ALL 
SELECT a.xx, NULL AS yy FROM log a WHERE a.user_id IS NULL;

参考：
HiveQL中如何排查数据倾斜问题：https://blog.csdn.net/u012151684/article/details/77074356

Hive性能优化

见另一篇博文 Hive常用优化参数

常见问题

请说明hive中 Sort By，Order By，Cluster By，Distrbute By各代表什么意思

  • order by：会对输入做全局排序，因此只有一个reducer（多个reducer无法保证全局有序）。只有一个reducer，会导致当输入规模较大时，需要较长的计算时间。

  • sort by：对分区内的数据进行排序，不是全局排序，其在数据进入reducer前完成排序。

  • distribute by：对map输出进行分区，按照指定的字段对数据进行划分输出到不同的reduce中。常和sort by一起使用，例如：select mid, money, name from store distribute by mid sort by mid asc, money asc

  • cluster by：当 distribute by 和 sorts by 字段相同时，可使用 cluster by 方式替代，cluster by 具有 distribute by 和 sort by 的组合功能。但是排序只能是升序排序，不能指定排序规则为ASC或者DESC

NULL在hive的一般处理

NULL默认的存储都是\N，可以在建表时通过serialization.null.format的设置。
NULL 值的过滤，一般是is null 和 is not null。

multi-group新特性的好处？

multi group by 可以将查询中的多个group by操作组装到一个MapReduce任务中，起到优化作用。例如：


from area
    insert overwrite table temp1 
        select Provice,city,county,count(rainfall) from area where data="2018-09-02" group by provice,city,count
    insert overwrite table temp2
        select Provice,count(rainfall) from area where data="2018-09-02" group by provice

参考

官方文档：https://cwiki.apache.org/confluence/display/Hive/Home
HiveSQL的编译过程(美团)：https://tech.meituan.com/2014/02/12/hive-sql-to-mapreduce.html
HiveSQL编译过程: https://www.slideshare.net/recruitcojp/internal-hive
Hive的核心原理以及查询优化：http://www.pianshen.com/article/4247149029
深入浅出数据仓库中SQL性能优化之Hive篇：http://www.codeceo.com/article/sql-hive.html

HaiwiSong
关注
  • 21
    点赞
  • 踩
  • 119
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
HIve的技术架构
weixin_41902332的博客
09-09 794
首先我们要知道hive到底是做什么的。下面这几段文字很好的描述了hive的特性： 　　1.hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计...
Hive架构、组件
喻师傅的学习笔记
04-22 1487
Hive架构原理
Hive读写文件机制
最新发布
喻师傅的学习笔记
05-07 491
Hive读写文件机制
hive入门及简介
zhangsq1319
03-02 3414
hive入门及简介 1、hive是什么？ Hive是建立在Hadoop (HDFS/MR)上的用于管理和查询结果化/非结构化的数据仓库; 2、hive组成？ Hive主要由以下三个模块组成： 用户接口模块，含CLI、HWI、JDBC、Thrift Server等，用来实现对Hive的访问。CLI是Hive自带的命令行界面；HWI是Hive的一个简单网页界面；JDBC、ODBC以...
Hive学习（四）：Hive文件存储结构
IcyDate的博客
01-12 1468
上一篇：Hive学习（三）：Hive数据类型 文件结构 Hive支持多种文件的存储结构，以对应不同的场景，Hive通过在创建表时的sorted as来指定文件结构。 基础知识 对于一张表数据的存储 id name sex 1 张三 男 2 李四 女 行式存储 以一行数据为单位进行连续存储，表现为： 优势：插入新纪录时，直接在数据尾部添加即可，效率高 劣势：如果在查询时只需要name，也需要加载整行数据，消耗大 列式存储 以一列数据为单
hive 文件存储结构总结，以及适用场景。
wangrui1605的博客
12-19 2945
文章目录背景基本概念行式存储和列式存储总结Hive 存储格式有哪些？TEXTFILE 文本格式文件（行式存储）适用场景SequenceFile（二进制序列化文件）适用场景sequenceFile如何解决小文件问题RCFile（行列式文件）存储方式ORC（优化的行列式文件）存储方式适用场景Parquet适用场景 背景 hive 的数据存储其实是在HDFS文件系统中的。hive 提供了一种查询HDFS 中文件的一种方式。和传统的关系型数据库相比，hive 对所存储的数据在文件中的编码方式有很大的灵活性。Apac
hive架构原理
shkstart的博客
11-04 205
Hive架构原理 1）用户接口：Client CLI（command-line interface）、JDBC/ODBC(jdbc访问hive)、WEBUI（浏览器访问hive） 2）元数据：Metastore 元数据包括：表名、表所属的数据库（默认是default）、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等； 默认存储在自带的derby数据库中，推荐使用MySQL存储Metastore 3）Hadoop 使用HDFS进行存储，使用MapReduce进行计算。 4）驱动器：.
如何通俗地理解Hive的工作原理？
Blue92120的博客
06-08 538
Hive是基于Hadoop的一个数据仓库工具，主要用来对数据进行抽取、转换、加载操作。HiveQL可以将结构化的数据文件映射为一张数据表，允许熟悉SQL的用户查询数据，也允许熟悉MapReduce的开发者开发自定义的mapper和reducer来处理内建的mapper和 reducer无法完成的复杂的分析工作，相对于Java代码编写的MapReduce来说，Hive的优势更加明显。Hive利用Hadoop的HDFS存储数据，利用Hadoop的MapReduce执行查询。...
深入学习Hive应用场景及架构原理
01-27
《深入学习Hive应用场景及架构原理》 Hive，源于Facebook的创新，是为了解决海量社交网络数据管理和机器学习需求而诞生的。随着互联网进入大数据时代，Hadoop成为核心，但其MapReduce操作对技术要求较高。为适应这...
达观数据分析平台架构和Hive实践
02-26
Hadoop于2006年1月28日诞生，至今已有10年，它改变了企业对数据的存储、处理和分析的过程，加速了大数据的发展，形成了自己的极其火爆的技术生态圈，并受到非常广泛的应用。在2016年Hadoop十岁生日之际，InfoQ策划了...
Hive原理分析
02-24
在开始了解hive之前，需要了解一些知识或者概念，可以更好的理解hive实现原理GoogleMapReduce是Google基于函数式编程map（映射），reduce（化简）提出的一种分布式编程模型，在模型中隐藏了分布式集群的实现细节，交...
Hive 基本命令操作1
08-03
以上就是关于Hive基本命令操作的一些核心知识点，包括创建表、查看表结构、数据加载以及查询等。在实际操作中，根据业务需求选择合适的数据模型（如分区表）并正确地管理数据，能够极大地提高数据处理的效率和便利性...
Hive的基本原理（一）
RivenDong
09-19 1660
文章目录1. 前言2. 什么是Hive3. Hive和数据库的异同4. Hive设计的目的与应用5. Hive的架构与基本组成6. Hive的数据模型 1. 前言 前面讲了很多关于集群搭建、以及HDFS和MapReduce的操作，接下来终于能学习新的内容了，开森。。。 2. 什么是Hive Hive是基于Hadoop构建的一套数据仓库分析工具，它提供了丰富的SQL查询方式来分析存储在Hadoop分...
Hive的架构和Hive优化
永恒的博客
03-08 152
用户接口：Client，元数据：Metastore，Hadoop，驱动器：Driver
简述hive的架构
qq_36380777的博客
11-27 2860
一、先上图，官网拷贝的。 二 、hive的组成 2.1、客户端： 1、后台命令行：hive与beeline 。一般做数仓进行脚本开发都是通过hive与beeline进行开发，当然也有spark-sql。 2、hive-web ui：这个本人目前没用过，但是HUE组件是可以通过WEB UI对hive进行操作...
Hive的原理架构一
_a_0_
04-10 5276
一、首先是概念：大体可以划分为七个方面，这样有利于理解记忆：1、由FaceBook实现并开源；2、基于Hadoop的开源数据仓库工具，用于存储结构化的数据；3、可以将结构化的数据映射为一张数据库表；4、底层数据存储在HDFS文件系统上，描述数据的数据（元数据）存储在derby或者是远程数据库中，如：mysql；5、提供一套类数据库的处理机制，HQL查询功能；6、本质是将SQL语句转换为MapRed...
Hive表和存储结构《三》
skynumone的专栏
03-30 725
1.注意的几个地方 （1）dfs.permissions   设为false，否则容易报权限问题。  （2）mysql> alter database hive character set latin1; 否则容易报错： FAILED: Error in metadata: MetaException(message:Got exception: org.apache.thrift.t
7-大数据-hive存储结构
yaoyelinger0912的博客
07-13 348
hive的存储结构包括 数据库、表、视图、分区和表数据等， 数据库、表、分区等对应 HDFS 上的一个目录，表数据对应hdfs对应目录下的文件 hive中所有的数据都存储在HDFS中，没有专门的数据存储格式，hive是 读模式，可支持 textfile、sequenceFile、RCFile或者自定义格式等 hive只需要在创建表的时候告诉hive数据中的 列分隔符和行分割符，hive就可以解析数...
Hive内部表在HDFS中的目录结构
热门推荐
我的博客
04-10 1万+
简要介绍了Hive内部表在HDFS的目录结构
Hadoop hive 数仓的基本原理
07-27
Hadoop Hive 是构建在 Hadoop 生态系统上的数据仓库基础设施，它提供了一种类似于 SQL 的查询语言，用于处理和分析存储在 Hadoop 分布式文件系统（HDFS）中的大规模数据。 Hive 的基本原理如下： 1. 数据存储：Hive 将数据以表的形式存储在 HDFS 上，数据可以是结构化、半结构化或非结构化的。Hive 表定义包含表的结构（例如列和数据类型）以及数据的存储位置。 2. 元数据管理：Hive 使用元数据来管理表和表之间的关系。元数据包括表的结构、分区信息、表的存储位置等。Hive 的元数据可以使用自带的 Derby 数据库或者外部数据库（如 MySQL）进行存储。 3. 查询优化与执行：Hive 提供了类似于 SQL 的查询语言 HiveQL，用户可以使用 HiveQL 编写查询语句。当用户提交查询时，Hive 会进行查询优化，生成一个逻辑执行计划，并将其转换为 MapReduce 作业或 Tez 任务来执行。 4. 数据转换与计算：Hive 支持用户定义的函数（UDF）和自定义聚合函数（UDAF），用户可以使用这些函数来进行数据转换和计算。Hive 还提供了一些内置函数，用于常见的数据操作和处理。 5. 数据分区与分桶：Hive 支持数据的分区和分桶，可以根据某个列的值将数据划分为多个分区，或者根据某个列的哈希值将数据划分为多个桶。这样可以提高查询性能和数据处理效率。 通过上述原理，Hive 提供了一种方便的方式来处理和分析大规模数据，并且能够与其他 Hadoop 生态系统工具（如Hadoop MapReduce、HBase等）进行无缝集成。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值