HIve常用函数，hive常用数据类型，Hive表

六、Hive函数

1.函数自定义

1）UDF （常用） 一进一出

http://blog.csdn.net/duan19056/article/details/17917253

<1>UDF 函数可以直接应用于 select 语句，对查询结构做格式化处理后，再 输出内容。

<2>编写 UDF 函数的时候需要注意一下几点：

   a）自定义 UDF 需要继承 org.apache.hadoop.hive.ql.UDF。

   b）需要实现 evaluate 函数，evaluate 函数支持重载。

<3>步骤

   a）把程序打包放到目标机器上去；

   b）进入 hive 客户端，添加 jar 包：hive>add jar /jar/udf_test.jar;(清除缓存 时记得删除jar包delete jar /*)

  c）创建临时函数：hive>CREATE TEMPORARY FUNCTION add_example AS 'hive.udf.Add';

d）查询 HQL 语句：

SELECT  add_example(8,  9)  FROM  scores;

SELECT  add_example(scores.math,  scores.art)  FROM  scores;

SELECT  add_example(6,  7,  8,  6.8)  FROM  scores;

   e）销毁临时函数：hive>  DROP  TEMPORARY  FUNCTION  add_example;

2）UDAF聚集函数，多进一出

多行进一行出，如 sum()、min()，用在 group  by 时

<1>必须继承org.apache.hadoop.hive.ql.exec.UDAF(函数类继承)

org.apache.hadoop.hive.ql.exec.UDAFEvaluator(内部类 Eval uator 实现 UDAFEvaluator 接口)

<2>Evaluator 需要实现 init、iterate、terminatePartial、merge、t erminate 这 几个函数

   · init():类似于构造函数，用于 UDAF 的初始化

   · iterate():接收传入的参数，并进行内部的轮转，返回 boolean

   · terminatePartial():无参数，其为 iterate 函数轮转结束后，返回轮转数据， 类似于 hadoop 的 Combinermerge():接收 terminatePartial 的返回结果， 进行数据 merge 操作，其返回类型为 boolean

·terminate():返回最终的聚集函数结果

3）UDTF，一进多出

一进多出，如 lateralview  explore()

使用方式 ：在HIVE会话中add自定义函数的jar 文件，然后创建 function 继 而使用函数； 这些函数都是针对单元格值的，并不是针对行的。

七、Hive数据储存

Hive没有专门的存储结构，数据表，视图，元数据等等都可以；而且也没有专门的数据存储格式，textFile、RCFile都可以的；

Hive只需要在创建表的时候告诉Hive数据中的列分隔符和行分隔符，Hive就可以解析数据。

那么分割符都有那些呢，默认的话是列分隔符“ctrl+A”

默认行分隔符是“/n”

八、Hive表

1.Hive表常用的存储格式

textfile 默认格式 行存储

sequencefile 二进制文件  行存储

rcfile   按行分块 按列存储

orc    按行分块 按列存储

2.Hive索引（了解）

一个表上创建索引创建一个索引使用给定的列表的列作为键

3.Hive工作原理

首先用户先将任务交给Diver

接着编译器获得这个用户的plan，并根据这个用户的任务去metaStore获取需要的Hive元数据信息

然后进行对任务的编译，将HQL先后转换为抽象语法树、查询块、逻辑计划、最后转为物理计划（mapreduce），最终选择最优方案提交给Diver

Diver将这个最优方案转交给excutionengion执行，将获得的元数据信息交给jobTracker或者sourceManager执行该任务

最终这个任务会直接读取HDFS中的文件进行操作，取得并返回结果