hive 浅浅谈

最新推荐文章于 2024-07-16 19:11:42 发布
最新推荐文章于 2024-07-16 19:11:42 发布
阅读量130 收藏
点赞数
文章标签： 大数据 java shell
原文链接：https://my.oschina.net/u/270950/blog/176345
版权

hive整体结构

Hive有三种用户接口：

cli (Command line interface) bin/hive或bin/hive –service cli 命令行方式（默认）
hive-server/hive-server2 bin/hive –service hiveserver 或bin/hive –service hiveserver2 通过JDBC/ODBC和Thrift访问（Impala通过这种方式借用hive-metastore）
hwi (Hive web interface) bin/hive –service hwi 通过浏览器访问

14171027_5hdg.jpg



在hive shell中输入“show tables;”实际执行的是：

1
bin/hadoopjar hive/lib/hive-cli-0.9.0.jar org.apache.hadoop.hive.cli.CliDriver -e'SHOW TABLES;'

CLI入口函数：cli.CliDriver.main()

读入参数->建立SessionState并导入配置->处理输入文件中指令CliDriver.processFile()；或交互型指令CliDriver.processLine()->解析输入CliDriver.processCmd()

(1) 如果是quit或者exit，退出

(2) 以source开头的，读取外部文件并执行文件中的HiveQL

(3) ！开头的命令，执行操作系统命令（如!ls，列出当前目录的文件信息）

(4) list，列出jar/file/archive

(5) 其他命令，则生成调用相应的CommandProcessor处理，进入CliDriver.processLocalCmd()

下面看看CliDriver.processLocalCmd()这个函数：

set/dfs/add/delete指令交给指定的CommandProcessor处理，其余的交给org.apache.hadoop.hive.ql.Driver.run()处理

org.apache.hadoop.hive.ql.Driver类是查询的起点，run()方法会先后调用compile()和execute()两个函数来完成查询，所以一个command的查询分为compile和execute两个阶段。

Compile

(1)利用antlr生成的HiveLexer.java和HiveParser.java类，将HiveQL转换成抽象语法树（AST）。

首先使用antlr工具将srcqlsrcjavaorgapachehadoophiveqlparsehive.g编译成以下几个文件：HiveParser.java, Hive.tokens, Hive__.g, HiveLexer.java

HiveLexer.java和HiveParser.java分别是词法和语法分析类文件，Hive__.g是HiveLexer.java对应的词法分析规范，Hive.tokens定义了词法分析后所有的token。

然后沿着“Driver.compile()->ParseDriver.parse(command, ctx)->HiveParserX.statement()->antlr中的API”这个调用关系把输入的HiveQL转化成ASTNode类型的语法树。HiveParserX是由antlr生成的HiveParser类的子类。

(2)利用对应的SemanticAnalyzer类，将AST树转换成Map-reduce task。主要分为三个步骤：

a) AST -> operator DAG

b) optimize operator DAG

c) oprator DAG -> Map-reduce task

首先接着上一步生成的语法树ASTNode， SemanticAnalyzerFactory会根据ASTNode的token类型生成不同的SemanticAnalyzer (所有这些SemanticAnalyzer都继承自BaseSemanticAnalyzer)

1) ExplainSemanticAnalyzer

2) LoadSemanticAnalyzer

3) ExportSemanticAnalyzer

4) DDLSemanticAnalyzer

5) FunctionSemanticAnalyzer

6) SemanticAnalyzer

然后调用BaseSemanticAnalyzer.analyze()->BaseSemanticAnalyzer. analyzeInternal()。

下面以最常见的select * from table类型的查询为例，进入的子类是SemanticAnalyzer. analyzeInternal()，这个函数的逻辑如下：

1) doPhase1()：将sql语句中涉及到的各种信息存储起来，存到QB中去，留着后面用。

2) getMetaData()：获取元数据信息，主要是sql中涉及到的 表 和 元数据 的关联

3) genPlan()：生成operator tree/DAG

4) optimize：优化，对operator tree/DAG 进行一些优化操作，例如列剪枝等（目前只能做rule-based optimize，不能做cost-based optimize）

5) genMapRedTasks()：将operator tree/DAG 通过一定的规则生成若干相互依赖的MR任务

Execute

将Compile阶段生成的task信息序列化到plan.xml，然后启动map-reduce，在configure时反序列化plan.xml

实例分析：

在hive中有这样一张表：

uid

fruit_name

count

a

apple

5

a

orange

3

a

apple

2

b

banana

1

执行如下的查询：

1
SELECTuid,SUM(count)FROMlogsGROUPBYuid

通过explain命令可以查看执行计划：

1
EXPLAINSELECTuid,SUM(count)FROMlogsGROUPBYuid;

依照hive.g的语法规则，生成AST如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
ABSTRACT SYNTAX TREE:
(
  TOK_QUERY
  (TOK_FROM (TOK_TABREF (TOK_TABNAME logs)))
  (
    TOK_INSERT
    (TOK_DESTINATION (TOK_DIR TOK_TMP_FILE))
    (
      TOK_SELECT
      (TOK_SELEXPR (TOK_TABLE_OR_COL uid))
      (TOK_SELEXPR (TOK_FUNCTIONsum(TOK_TABLE_OR_COLcount)))
    )
    (TOK_GROUPBY (TOK_TABLE_OR_COL uid))
  )
)

生成的执行计划operator tree/DAG如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
STAGE DEPENDENCIES:
  Stage-1isa root stage
  Stage-0isa root stage
 
STAGE PLANS:
  Stage: Stage-1
    Map Reduce
      Alias -> Map Operator Tree:
        logs
          TableScan // 扫描表
            alias: logs
            SelectOperator //选择字段
              expressions:
                    expr: uid
                    type: string
                    expr:count
                    type:int
              outputColumnNames: uid,count
              GroupByOperator //在map端先做一次聚合，减少shuffle数据量
                aggregations:
                      expr:sum(count) //聚合函数
                bucketGroup:false
                keys:
                      expr: uid
                      type: string
                mode: hash
                outputColumnNames: _col0, _col1
                ReduceOutputOperator //输出key，value给reduce
                  keyexpressions:
                        expr: _col0
                        type: string
                  sortorder: +
                  Map-reduce partition columns:
                        expr: _col0
                        type: string
                  tag: -1
                  value expressions:
                        expr: _col1
                        type:bigint
      Reduce Operator Tree:
        GroupByOperator
          aggregations:
                expr:sum(VALUE._col0) //聚合
          bucketGroup:false
          keys:
                expr:KEY._col0
                type: string
          mode: mergepartial
          outputColumnNames: _col0, _col1
          SelectOperator //选择字段
            expressions:
                  expr: _col0
                  type: string
                  expr: _col1
                  type:bigint
            outputColumnNames: _col0, _col1
            FileOutputOperator //输出到文件
              compressed:false
              GlobalTableId: 0
              table:
                  input format: org.apache.hadoop.mapred.TextInputFormat
                  outputformat: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
 
  Stage: Stage-0
    FetchOperator
      limit: -1

Hive优化策略：

1. 去除查询中不需要的column

2. Where条件判断等在TableScan阶段就进行过滤

3. 利用Partition信息，只读取符合条件的Partition

4. Map端join，以大表作驱动，小表载入所有mapper内存中

5. 调整Join顺序，确保以大表作为驱动表

6. 对于数据分布不均衡的表Group by时，为避免数据集中到少数的reducer上，分成两个map-reduce阶段。第一个阶段先用Distinct列进行shuffle，然后在reduce端部分聚合，减小数据规模，第二个map-reduce阶段再按group-by列聚合。

7. 在map端用hash进行部分聚合，减小reduce端数据处理规模

转载于:https://my.oschina.net/u/270950/blog/176345

chouchi4012
关注
数仓工具—Hive语法之正则表达式函数
07-14 3万+
在我的其他文章中，我们已经看到了如何使用Hive正则表达式从字符串中提取日期值。正则表达式的另一个常见用途是提取数值，例如从字符串数据中提取区号或电话号码。当您处理不同的数据源时，可能需要从给定的字符串类型列中提取数字值，如电话号码或区号。例如，考虑下面的Hive示例，使用函数中的不同表达式从字符串中提取数字。例如，考虑以下示例，使用Hive正则表达式从字符串中仅获取3位数字。这些关键字，都是和匹配有关的，今天我们介绍一下hive 的。例如，以下示例中的正则表达式仅从字符串中提取6位数字。
数仓工具—Hive语法之数组函数用法和示例
热门推荐
07-16 3万+
之后，您可以使用数组操作函数来操作数组类型。数组函数将自然语言文本的字符串分割成单词和句子，每个句子在适当的句子边界处断开，并作为单词数组返回。函数根据数组元素的自然排序对输入数组进行升序排序并返回。例如，考虑以下示例对数组字符串进行排序并返回排序后的数组。例如，以下示例仅从键值对 map 类型中返回键。例如，以下示例仅从键值对 map 类型中返回值。例如，考虑以下示例，根据逗号分隔符分割字符串。函数在 map 类型上工作并返回键值数组。例如，考虑以下示例，根据整数值创建数组。
HiveServer2表结构变更太耗时分析
lvzhuyiyi的博客
12-28 1737
转至元数据结尾 创建： 李星，最新修改于： 十二月 23, 2016 转至元数据起始 转载自数据交换专家同事 HiveServer2启动端口为10002，可以看到大量galaxy过来的请求以及少量主数据过来的请求。   jstack查看HiveServer2的进程，发现有大量线程被block了。
浅谈云计算
03-20 190
       写于2013-03-18 15:21          由于公司组织结构的调整，我们部门换了新的领导。本来临阵换帅是兵家大忌，我的士气也低落了好几天。不过生活就是如此，瞬息万变。权力之争也好，个人恩怨也好，我也只好既来之久则安之咯。看成败，人生豪迈。          早上新的领导来了一次动员大会，其实说白了就是摸我们的底吧。他叫我们各自谈谈我们对"云计算"和"大数据"的...
浅谈数据中台的那些故事
管锟的博客
04-05 1486
近些日子，数据中台受到政府、集成商、供应商群起追捧，恨不得奉它为女神维纳斯.....可是很多人知其然不知其所以然，这层薄纱后面到底是人还是神？下面且听鄙人细细解说： 作为售前不得不关注东家的喜好，东家要上数据中台，你还得请教马爸爸。阿里为什么要上数据中台了？由于本人也没进过阿里，只是听坊间小道消息有这样说：因为阿里有1688、taobao、tmall、支付宝、蚂蚁金服等众多平台系统，数据需要互联...
大模型时代，程序员如何实现自我成长？——一名普通开发者的 ChatGPT
kaka0722ww的博客
06-13 405
Inflection AI 的 Pi 是目前使用体感最好，如果说我将 ChatGPT 当作工具人，那 Pi 就是一个善解人意的小伙伴，优先于人的设计理念，相比其他服务于生产力、搜索或解答问题的 AI，可以放心将 Pi 视作一个具有创造力的教练、朋友或者是一个“发泄情绪”的对象，当然有类似定位的还有致力于让每个人都可定制自己的个性化 AI 的 Character.ai，不过靠提示词调教出来的虚拟角色稳定性堪忧，但是以这个项目作为入口，收集海量高质量交互数据，具备构建出体验超过 Pi 的大模型潜力。
Hive浅谈
Ajaxtxdy的博客
09-16 982
Hive浅谈
浅谈hive
weixin_44273391的博客
09-20 222
浅谈hive hive 2.5.1 Hive是什么 ###2.5.1.1 为什么有Hive Hive最初是应Facebook每天产生的海量新兴社会网络数据进行管理和机器学习的需求而产生和发展的。 数据量大，处理的效率比较低 mapreduce学习成本比较高 类sql的用法，工作效率高 入门比较简单 2.5.1.2 Hive是什么 hive是一个数据仓库。 hive是一个基于hadoop的数据仓库...
数据仓库基础构架-Hive随谈
10-08
hive数据仓库基础构架， hive数据仓库基础构架, hive数据仓库基础构架
数仓工具—Hive语法之替换函数和示例
最新发布
07-16 3万+
rlike regexp 是一样的，都是正则匹配REGEXP_REPLACE 是正则替换REGEXP_REPLACE 是正则提取Translate 是字符替换like 是字符匹配，有自己的语法。
数仓工具—Hive语法之宏(Macro)
07-15 3万+
Hive中的宏是一组SQL语句，它们被存储并通过调用宏函数名称来执行。宏在当前会话期间存在。宏是临时的，如果你想拥有永久性的宏，最好创建用户定义的函数并在Hive中注册。在关系数据库管理系统（RDBMS）中，宏存储在数据字典中。Hive宏与关系型数据库中的宏略有不同。在我的其他文章中，我们讨论了如何使用用户定义的函数检查一个字符串是否为数字。然而，你也可以通过创建Hive宏来实现相同的功能。请注意，错误是因为参数’inputString’中的大写’S’以及表达式中的大写。，如何使用它们，以及一些宏的示例。
浅谈Hive
ying.F的博客
04-03 574
让我们开门见山来一句介绍，Hive是建立在Hadoop HDFS上的数据仓库基础架构。 在Hadoop大数据体系中，Hive和HBase事两种基于Hadoop的不同技术，Hive是一类类SQL的引擎，其数据存放在HDFS上，并运用MapReduce进行计算，适合OLAP事务。而HBase是一种在Hadoop上的NOSQL的键值对数据库，提供数据的实时访问。 好，接下来我们细细地讲。 数据...
数仓工具—Hive语法之排除特定列
07-14 3万+
Apache Hive是一个基于Hadoop HDFS的数据仓库框架，用于存储和分析大量数据。Apache Hive支持大多数关系数据库功能，如对大型表进行分区和根据分区列存储值。现在，问题是如何从SELECT查询结果中排除Hive分区列？有一种方法可以用来排除分区列。这个在我们需要表中大量列的时候，例如一个表有100个列，我们需要其中99个，其中一个不要。添加下面的配置到 ‘hive-site.xml’ 文件，或者可以在命令行set。现在我们就可以通过下面的方式排除。在本文中，我们将检查。
数仓工具—Hive基础之临时表及示例
07-14 3万+
临时表是应用程序自动管理在大型或复杂查询执行期间生成的中间数据的一种便捷方式。Hive 0.14 及更高版本支持临时表。可以在用户会话中像使用普通表一样多次使用它们。在本文中，我们将介绍，以及如何创建和使用限制的示例。是限于用户会话的。您可以在用户会话中多次重复使用临时表。Hive 在创建它们的 Hive 会话结束时自动删除所有临时表。临时表中的数据存储在用户的临时目录而不是 Hive 仓库目录中。通常，位置将是。
数仓工具—Hive语法之事务表更新Transactional Table Update
07-16 3万+
在本文中，我们将讨论如何在 Hive 事务性表上使用更新连接。您可以使用 merge 语句作为 Hive 更新连接的替代方案。您也可以在不设置 ACID 属性的情况下更新 Hive 表。Apache Hive 支持涉及您正在更新的单张表的简单更新语句。您可以在 SET 子句中仅使用静态值使用 Hive 更新语句。例如，考虑以下使用两张表的更新语句。这类语句称为更新连接条件。例如，考虑以下示例，使用 MERGE 语句作为使用连接条件更新表的替代查询。实际上，更新语句要复杂得多，涉及两张或更多表。
【Hive进阶】-- Hive SQL、Spark SQL和 Hive on Spark SQL
欢迎来到我的博客，一起探索代码里的世界！
03-13 3039
Hive由Facebook开发，用于解决海量结构化日志的数据统计，于2008年贡献给 Apache 基金会。Hive是基于Hadoop的数据仓库工具，可以将结构化数据映射为一张表，提供类似SQL语句查询功能本质：将Hive SQL转化成MapReduce程序。Spark SQL主要用于结构型数据处理，它的前身为Shark，在Spark 1.3.0版本后才成长为正式版，可以彻底摆脱之前Shark必须依赖HIVE的局面。
SpringBoot整合hive-jdbc示例
08-19
**SpringBoot整合Hive-JDBC详解** 在大数据处理领域，Hadoop生态中的Hive作为一个数据仓库工具，常常用于处理大规模的数据分析任务。而SpringBoot作为Java开发中的微服务框架，以其简洁的配置和快速的开发能力深受...
Hive浅析
Land is there, but I will build another Land
03-29 452
概述Hive——Hadoop最常用的工具。对于Hadoop的出现，无论是业界还是学术界对其都给予了极高的关注度，Hadoop及其生态圈提供了一个成熟高校的处理海量数据集的解决方案。数据基础架构大都基于关系型数据库（RDBMS）和结构化查询语言（SQL）。这就是Hive出现的原因。Mapreduce需要几十行代码完成的工作，Hive区区几行HiveQL就能胜任。HiveQL是SQL语句的一种方言（di
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值