HIVE

最新推荐文章于 2024-07-24 20:46:25 发布
最新推荐文章于 2024-07-24 20:46:25 发布
阅读量171 收藏 1
点赞数
分类专栏： 大数据技术
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/define_us/article/details/81087021
版权

HIVE的架构

这里写图片描述
这里写图片描述
用户可以直接使用CLI，也能通过thrift，jdbc，odbc访问hive thrift server来使用hive。

Metastore服务

Metastore将HIVE的元数据存储在Mysql中，共用户查询。

HiveServer服务

一种可选服务，允许远程客户端可以使用各种编程语言向Hive提交请求并检索结果。HiveServer是建立在Apache ThriftTM（http://thrift.apache.org/） 之上的，因此有时会被称为Thrift Server，这可能会导致混乱，因为新服务HiveServer2也是建立在Thrift之上的．自从引入HiveServer2后，HiveServer也被称为HiveServer1。

HIVE的工作原理

基本工作流程如下

  1. 用户提交查询等任务给Driver。
  2. 编译器获得该用户的任务Plan。
  3. 编译器Compiler根据用户任务去MetaStore中获取需要的Hive的元数据信息。
  4. 编译器Compiler得到元数据信息，对任务进行编译，先将HiveQL转换为抽象语法树，然后将抽象语法树转换成查询块，将查询块转化为逻辑的查询计划，重写逻辑查询计划，将逻辑计划转化为物理的计划（MapReduce）, 最后选择最佳的策略。
  5. 将最终的计划提交给Driver。
  6. Driver将计划Plan转交给ExecutionEngine去执行，获取元数据信息，提交给JobTracker或者SourceManager执行该任务，任务会直接读取HDFS中文件进行相应的操作。
  7. 获取执行的结果。
  8. 取得并返回执行结果。

HIVE的UDF

define_us
关注
专栏目录
Hive
qq_35968375的博客
05-15 1295
什么是Hive 1、Hive 由 Facebook 实现并开源 2、是基于 Hadoop 的一个数据仓库工具 3、可以将结构化的数据映射为一张数据库表 4、并提供 HQL(Hive SQL)查询功能 5、底层数据是存储在 HDFS 上 6、Hive的本质是将 SQL 语句转换为 MapReduce 任务运行 7、使不熟悉 MapReduce 的用户很方便地利用 HQL 处理和计算 HDFS 上的...
Hive——Data Defined Language(DDL)
pageniao的博客
11-20 157
创建数据库 create database test02; -- 在创建语句中加入判断语句，否则会报错 create database if not exists test02; 删除数据库 drop database test02; -- 加入判断条件 drop database if exists test02; 以上方法仅能删除空的数据库，如下例中演示： hive (test01)&...
hive函数大全
Bryan__的专栏
08-02 2059
一、关系运算： 1. 等值比较: =          语法：A=B          操作类型：所有基本类型          描述:如果表达式A与表达式B相等，则为TRUE；否则为FALSE          举例：          hive>select 1 from lxw_dual where 1=1;          1 2. 不等值比较:          语
Hive基础知识大全
最新发布
qq_54677773的博客
07-24 2629
Hive本质是将SQL转化为MapReduce的任务进行计算，底层由HDFS来提供数据存储。说白了hive可以理解为一个将SQL转换为MapReduce的任务的工具，甚至更进一步说hive就是MapReduce的一个客户端。Hive是数据库建模工具之一可以向Hive传入一条交互式SQL,在海量数据中查询分析得到结果的平台继承重写evaluate()，这个方法不是由接口定义的,因为它可接受的参数的个数,数据类型都是不确定的。Hive会检查UDF,看能否找到和函数调用相匹配的evaluate()方法。
Hive 10、Hive的UDF、UDAF、UDTF
02-24 261
Hive自定义函数包括三种UDF、UDAF、UDTF 　　UDF(User-Defined-Function)一进一出 　　UDAF(User-DefinedAggregationFuncation)聚集函数，多进一出。Count/max/min 　　UDTF(User-DefinedTable-GeneratingFunctions)一进多出，如lateral...
Hive：null
huang358468的博客
09-07 580
Hive：null 字符串为'\N'（默认） 字符串为'NULL' 文本中的内容与hive表定义的字段类型不相符 解决方式 解决字符串为'\N'的字符串 定义表时，指定 NULL为指定的标识符 create table if not exists xxxx( id varchar(32) primary key, age int , name varchar(32) ) row fo...
hive UDF(User-Defined-Function) 实战
The Big Data Way
08-09 259
 问题   hive无法按照5分钟对日志分组   方案 hive UDF   实现步骤 创建UDF：①extends UDF ②重写evaluate方法   package com.xxx.udf; import java.math.BigDecimal; import org.apache.hadoop.hive.ql.exec.UDF; pub...
hive-exec-2.1.1.jar
03-14
hive-exec-2.1.1 是 Apache Hive 的一部分，特别是与 Hive 的执行引擎相关的组件。Apache Hive 是一个构建在 Hadoop 之上的数据仓库基础设施，它允许用户以 SQL（结构化查询语言）的形式查询和管理大型数据集。Hive ...
DBeaver链接hive驱动包下载： hive-jdbc-uber-2.6.5.0-292.jar
05-17
《DBeaver与Hive连接：hive-jdbc-uber-2.6.5.0-292.jar驱动详解》 在大数据处理领域，Hive作为一个基于Hadoop的数据仓库工具，广泛用于数据查询和分析。而DBeaver，作为一款跨平台的数据库管理工具，以其用户友好的...
Ambari下Hive3.0升级到Hive4.0
03-25
在大数据领域，Apache Ambari 是一个用于 Hadoop 集群管理和监控的开源工具，而 Hive 是一个基于 Hadoop 的数据仓库系统，用于处理和分析大规模数据集。本话题聚焦于如何在 Ambari 环境下将 Hive 3.0 升级到 Hive ...
seatunnel 支持hive jdbc
07-28
driver = "org.apache.hive.jdbc.HiveDriver" user = "hive" password = "hive" table = ods_wjw_jb_gxy_hz_glk query = "select a,b,c from ods_wjw_jb_gxy_hz_glk" fetch_size = 300 } }
Hive2.x系列驱动，
07-06
标题 "Hive2.x系列驱动" 指的是Hive版本2.x的客户端连接器，这些驱动程序使得应用程序能够与Hive服务器进行交互，执行SQL查询并获取数据。Hive是一个基于Hadoop的数据仓库工具，它允许用户使用SQL语言处理存储在HDFS...
hive基础
hadoop_在路上
09-03 386
1.Hive 1.1在hadoop生态圈中属于数据仓库的角色。他能够管理hadoop中的数据，同时可以查询hadoop中的数据。   本质上讲，hive是一个SQL解析引擎。Hive可以把SQL查询转换为MapReduce中的job来运行。   hive有一套映射工具，可以把SQL转换为MapReduce中的job，可以把SQL中的表、字段转换为HDFS中的文件(夹)以及文件中的列。  
hive
连峰碧波间，浅水泛舟游
11-07 190
1.查询表在hdfs中存储路径 show create table table_name
Hive编程指南
7. **Hive的编程接口**：讲解Hive的Java API（HiveDriver、HiveSession等）和Hive命令行接口，以及如何通过这些接口进行程序化访问和操作Hive。 8. **MapReduce与Hive的交互**：深入理解Hive如何利用MapReduce执行...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值