Hadoop7days -7Hive

*  Hive 是建立在 Hadoop  上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL ），这是一种可以存储、查询和分析存储在 Hadoop  中的大规模数据的机制。Hive 定义了简单的类 SQL  查询语言，称为 QL ，它允许熟悉 SQL  的用户查询数据。同时，这个语言也允许熟悉 MapReduce  开发者的开发自定义的 mapper  和 reducer  来处理内建的 mapper 和 reducer  无法完成的复杂的分析工作。

*  Hive是SQL解析引擎，它将SQL语句转译成M/R Job然后在Hadoop执行。

*  Hive的表其实就是HDFS的目录/文件，按表名把文件夹分开。如果是分区表，则分区值是子文件夹，可以直接在M/R Job里使用这些数据。

Hive的系统架构：

•用户接口，包括 CLI，JDBC/ODBC，WebUI，最常用的就是CLI（command liner interface）

•元数据存储，通常是存储在关系数据库如 mysql, derby 中(Hive 中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等），hive安装后就能直接使用，但是其metadata存储在默认的derby数据库中，有很多局限（不能支持多个链接访问，且在不同的文件夹下访问会创建不同的derby数据库，因而不能访问大全部的数据，因此我们需要自己安装一个mysql数据库，配置文件）

•解释器、编译器、优化器、执行器（如上图所示，存放在driver中）

•Hadoop：用 HDFS 进行存储，利用 MapReduce 进行计算

我的MySQL安装在03号机器上

Hive安装在01号机器上

Hive的UDF：

0.要继承org.apache.hadoop.hive.ql.exec.UDF类实现evaluate 

自定义函数调用过程：
1.添加jar包（在hive命令行里面执行）
hive> add jar /root/NUDF.jar;

2.创建临时函数
hive> create temporary function getNation as 'cn.itcast.hive.udf.NationUDF';

3.调用
hive> select id, name, getNation(nation) from beauty;

4.将查询结果保存到HDFS中
hive> create table result row format delimited fields terminated by '\t' as select * from beauty order by id desc;
hive> select id, getAreaName(id) as name from tel_rec;

create table result row format delimited fields terminated by '\t' as select id, getNation(nation) from beauties;