![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hive
Simple_Zz
这个作者很懒,什么都没留下…
展开
-
Hive MetaStore 元数据库 表分析及操作
在安装Hive时,需要在hive-site.xml文件中配置元数据相关信息。与传统关系型数据库不同的是,hive表中的数据都是保存的HDFS上,也就是说hive中的数据库、表、分区等都可以在HDFS找到对应的文件。这里说到的元数据可以理解成hive中用于保存数据库、表、分区或者表字段等基本属性,以及这些属性与HDFS文件对应关系的一个映射。 这些映射关系比较常见的一个场景是保存在mysql数据...原创 2018-10-09 15:18:28 · 5295 阅读 · 0 评论 -
Hive 时间函数
to_date:日期时间转日期函数select to_date('2015-04-02 13:34:12');输出:2015-04-02from_unixtime:转化unix时间戳到当前时区的时间格式select from_unixtime(1323308943,’yyyyMMdd’);输出:20111208unix_timestamp:获取当前unix时间戳select un...原创 2019-06-30 18:24:04 · 16758 阅读 · 0 评论 -
Hive Joins详解 【left / right / full / left semi】
Hive官方语法join_table: table_reference table_factor [join_condition] | table_reference {LEFT|RIGHT|FULL} [OUTER] JOIN table_reference join_condition | table_reference LEFT SEMI JOIN table_r...原创 2019-06-30 16:49:10 · 365 阅读 · 0 评论 -
Hive Fetch.task
Fetch抓取是指,在 hive-default.xml.templaet 文件中,hive.fetch.task.conversion 属性。该属性在 Hive 中对某些情况的查询可以不使用 MapReduce 计算,而使用 fetch task 来执行。<property> <name>hive.fetch.task.conversion</na...原创 2019-06-26 08:50:52 · 242 阅读 · 0 评论 -
Hive 建表语句
Hive 建表语句CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITIONED BY (col_name data_type [COMMENT col_comment], ....原创 2019-06-25 21:22:27 · 1997 阅读 · 0 评论 -
Hive 开窗函数
什么时候用开窗函数?开窗函数常结合聚合函数使用,一般来讲聚合后的行数要少于聚合前的行数,但是有时我们既想显示聚集前的数据,又要显示聚集后的数据,这时我们便引入了窗口函数。窗口函数的语法UDAF() over (PARTITION By col1,col2 order by col3 窗口子句(rows between .. and ..)) AS 列别名注意:PARTITION ...原创 2018-10-10 18:42:42 · 1926 阅读 · 1 评论 -
Hive 与 数据库比较
由于Hive采用了类似SQL的查询语言HQL(Hive Query Language),因此很容易将Hive理解为数据库。其实从结构上来看,Hive和数据库除了拥有类似的查询语言,再无类似之处。本文将从多个方面来阐述Hive和数据库的差异。数据库可以用在Online的应用中,但是Hive是为数据仓库而设计的,清楚这一点,有助于从应用角度理解Hive的特性。查询语言...原创 2018-10-09 20:33:02 · 756 阅读 · 0 评论 -
Hive 架构原理 运行机制
Hive 架构图如图中所示,Hive通过给用户提供的一系列交互接口,接收到用户的指令(SQL),使用自己的Driver,结合元数据(MetaStore),将这些指令翻译成MapReduce,提交到Hadoop中执行,最后,将执行返回的结果输出到用户交互接口。1.用户接口:ClientCLI(command-line interface)、JDBC/ODBC(jdbc...原创 2018-10-09 20:28:56 · 3056 阅读 · 0 评论 -
Hive 基本概念
Hive 是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具,可...原创 2018-10-09 20:16:13 · 277 阅读 · 0 评论 -
Hive 行列互换经典题
collect_list( [列名]) 将某一列转换成数组 不去重 collect_set( [列名]) 将某一列转换成数组 去重 concat_ws([分割符],[数组]) 将数组按照分割符转换成字符串 split( [列名],[分割符]) 将字符串切分成 数组 explode( [数组] ) 将数组炸开成行 posexplode( ...原创 2019-07-21 19:10:58 · 521 阅读 · 0 评论