Hive(二)

Hive安装环境准备

1.Hive安装地址：

1）Hive官网地址：
http://hive.apache.org/
2）文档查看地址：
https://cwiki.apache.org/confluence/display/Hive/GettingStarted
3）下载地址：
http://archive.apache.org/dist/hive/
4）github地址：
https://github.com/apache/hive

Hive安装部署

1）Hive安装及配置
上传解压包，解压到/opt/module目录下（文件夹自建）
修改/opt/module/hive/conf目录下的hive-env.sh.template名称为hive-env.sh
配置hive-env.sh文件
（a）配置HADOOP_HOME路径
export HADOOP_HOME=/opt/module/hadoop-2.7.2
（b）配置HIVE_CONF_DIR路径
export HIVE_CONF_DIR=/opt/module/hive/conf
2）Hadoop集群配置
（1）必须启动hdfs和yarn
（2）在HDFS上创建/tmp和/user/hive/warehouse两个目录并修改他们的同组权限可写
3）Hive基本操作 ，在hive文件目录下 bin/hive启动hive，进入后可以quit；退出（类似mysql）
（1）bin/hive
（2）查看数据库
hive>show databases;
（3）打开默认数据库
hive>use default;
（4）显示default数据库中的表
hive>show tables;
（5）创建一张表
hive> create table student(id int, name string) ;
（6）显示数据库中有几张表
hive>show tables;
（7）查看表的结构
hive>desc student;
（8）向表中插入数据
hive> insert into student values(1000,”ss”);
（9）查询表中数据
hive> select * from student;
（10）退出hive
hive> quit;

Hive元数据配置到MySql

拷贝驱动
mysql-connector-java-5.1.27-bin.jar到/opt/module/hive/lib/

配置Metastore到MySql

1.在/opt/module/hive/conf目录下创建一个hive-site.xml
https://cwiki.apache.org/confluence/display/Hive/AdminManual+MetastoreAdmin
依据上面官方文档，拷贝数据到hive.site.xml

Hive数据仓库位置配置

1）Default数据仓库的最原始位置是在hdfs上的：/user/hive/warehouse路径下
2）在仓库目录下，没有对默认的数据库default创建文件夹。如果某张表属于default数据库，直接在数据仓库目录下创建一个文件夹。
3）修改default数据仓库原始位置（将hive-default.xml.template如下配置信息拷贝到hive-site.xml文件中）

hive.metastore.warehouse.dir
/user/hive/warehouse
location of default database for the warehouse

查询后信息显示配置

在hive-site.xml文件中添加如下配置信息，就可以实现显示当前数据库，以及查询表的头信息配置。

hive.cli.print.header
true

hive.cli.print.current.db
true

会显示使用的那个库

Hive运行日志信息配置

1）Hive的log默认存放在/tmp/atguigu/hive.log目录下（当前用户名下）。
2）修改hive的log存放日志到/opt/module/hive/logs
修改/opt/module/hive/conf/hive-log4j.properties.template文件名称为hive-log4j.properties
在hive-log4j.properties文件中修改log存放位置 hive.log.dir=/opt/module/hive/logs

Hive数据类型

基本数据类型

Hive数据类型
TINYINT
SMALINT–》short
INT
BIGINT
BOOLEAN
FLOAT
DOUBLE
STRING
TIMESTAMP
BINARY

集合数据类型

STRUCT：和c语言中的struct类似，都可以通过“点”符号访问元素内容。例如，如果某个列的数据类型是STRUCT{first STRING, last STRING},那么第1个元素可以通过字段.first来引用。

MAP：MAP是一组键-值对元组集合，使用数组表示法可以访问数据。例如，如果某个列的数据类型是MAP，其中键->值对是’first’->’John’和’last’->’Doe’，那么可以通过字段名[‘last’]获取最后一个元素

ARRAY：数组是一组具有相同类型和名称的变量的集合。这些变量称为数组的元素，每个数组元素都有一个编号，编号从零开始。例如，数组值为[‘John’, ‘Doe’]，那么第2个元素可以通过数组名[1]进行引用。
Hive有三种复杂数据类型ARRAY、MAP 和 STRUCT。ARRAY和MAP与Java中的Array和Map类似，而STRUCT与C语言中的Struct类似，它封装了一个命名字段集合，复杂数据类型允许任意层次的嵌套。