Hive基本概念
什么是Hive
Hive:由Facebook开源用于解决海量结构化日志的数据统计。Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。本质是:将HQL转化成MapReduce程序
Hive的优缺点
- 1)操作接口采用类SQL语法,提供快速开发的能力(简单、容易上手)。
- 2)避免了去写MapReduce,减少开发人员的学习成本。
- Hive优势在于处理大数据,对于处理小数据没有优势
- 5)Hive支持用户自定义函数,用户可以根据自己的需求来实现自己的函数。
缺点
- Hive的HQL表达能力有限
- Hive的效率比较低
- Hive调优比较困难,粒度较粗
HIve的架构原理
-
用户接口:Client(CLI)
CLI/jdbc、web等来访问hive -
元数据:
元数据包括表名、表所属的数据库、列名字段名、表的所有这等 -
HDFS、使用HDFS进行存储
-
驱动器:Driver
a 、解析器:将sql语句转换成抽象语法树,对抽象语法树做分析,比如是否含有这个语法、是否含有这个字段等
b、编译器:将ast抽象语法树转换成执行计划
c、优化器:对执行计划进行优化
e、执行器:把逻辑执行计划转换成物理执行计划。对Hive来说就是MR/Spark。
Hive和数据库的比较
由于 Hive 采用了类似SQL 的查询语言 HQL(Hive Query Language),因此很容易将 Hive 理解为数据库。其实从结构上来看,Hive 和数据库除了拥有类似的查询语言,再无类似之处。本文将从多个方面来阐述 Hive 和数据库的差异。数据库可以用在 Online 的应用中,但是Hive 是为数据仓库而设计的,清楚这一点,有助于从应用角度理解 Hive 的特性。
- 查询语言:由于SQL被广泛的应用在数据仓库中,因此,专门针对Hive的特性设计了类SQL的查询语言HQL。熟悉SQL开发的开发者可以很方便的使用Hive进行开发。
- 数据存储位置:Hive 是建立在 Hadoop 之上的,所有 Hive 的数据都是存储在 HDFS 中的。而数据库则可以将数据保存在块设备或者本地文件系统中。
- 数据更新:由于Hive是针对数据仓库应用设计的,而数据仓库的内容是读多写少的。因此,Hive中不建议对数据的改写,所有的数据都是在加载的时候确定好的。而数据库中的数据通常是需要经常进行修改的,因此可以使用 INSERT INTO … VALUES 添加数据,使用 UPDATE … SET修改数据。
- 执行:Hive中大多数查询的执行是通过 Hadoop 提供的 MapReduce 来实现的。而数据库通常有自己的执行引擎。
- 执行延迟:Hive 在查询数据的时候,由于没有索引,需要扫描整个表,因此延迟较高。另外一个导致 Hive 执行延迟高的因素是 MapReduce框架。由于MapReduce 本身具有较高的延迟,因此在利用MapReduce 执行Hive查询时,也会有较高的延迟。相对的,数据库的执行延迟较低。当然,这个低是有条件的,即数据规模较小,当数据规模大到超过数据库的处理能力的时候,Hive的并行计算显然能体现出优势。
- 可扩展性:由于Hive是建立在Hadoop之上的,因此Hive的可扩展性是和Hadoop的可扩展性是一致的(世界上最大的Hadoop 集群在 Yahoo!,2009年的规模在4000 台节点左右)。而数据库由于 ACID 语义的严格限制,扩展行非常有限。目前最先进的并行数据库 Oracle 在理论上的扩展能力也只有100台左右。
将本地文件导入Hive案例
1、在/opt/module/目录下创建datas
2、在/opt/module/datas/目录下创建student.txt文件并添加数据
[atguigu@hadoop102 datas]$ touch student.txt
[atguigu@hadoop102 datas]$ vi student.txt
1001 zhangshan
1002 lishi
1003 zhaoliu
3、Hive实际操作:首先启动hive:
bin/hive
2、创建student表, 并声明文件分隔符’\t’
creat table student (id int,name string)row format delimited fiels terminated by '\t'
3、加载/opt/module/datas/student.txt 文件到student数据库表中。
load data local inpath '/opt/module/datas/student.txt' into table student;
Hive查询结果
hive> select * from student;
OK
1001 zhangshan
1002 lishi
1003 zhaoliu
Time taken: 0.266 seconds, Fetched: 3 row(s)
Hive常用交互命令
- “-e”不进入hive的交互窗口执行sql语句:
[atguigu@hadoop102 hive]$ bin/hive -e "select id from student;"
2、-f”执行脚本中sql语句
[atguigu@hadoop102 datas]$ touch hivef.sql
atguigu@hadoop102 hive]$ bin/hive -f /opt/module/datas/hivef.sql
[atguigu@hadoop102 hive]$ bin/hive -f /opt/module/datas/hivef.sql > /opt/module/datas/hive_result.txt
3、退出hive窗口:exit:先隐性提交数据,再退出;quit:不提交数据,退出;
4、在hive cli命令窗口中如何查看hdfs文件系统:dfs -ls /;
5、在hive cli命令窗口中如何查看本地文件系统 !ls /opt/module
Hive的数据类型
集合数据类型:
创建表语句
CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name
[(col_name data_type [COMMENT col_comment], ...)]
[COMMENT table_comment]
[PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)]
[CLUSTERED BY (col_name, col_name, ...)
[SORTED BY (col_name [ASC|DESC], ...)] INTO num_buckets BUCKETS]
[ROW FORMAT row_format]
[STORED AS file_format]
[LOCATION hdfs_path]
[TBLPROPERTIES (property_name=property_value, ...)]
[AS select_statement]
字段解释说明 :
(1)CREATE TABLE 创建一个指定名字的表。如果相同名字的表已经存在,则抛出异常;用户可以用 IF NOT EXISTS 选项来忽略这个异常。
(2)EXTERNAL关键字可以让用户创建一个外部表,在建表的同时可以指定一个指向实际数据的路径(LOCATION),在删除表的时候,内部表的元数据和数据会被一起删除,而外部表只删除元数据,不删除数据。
(3)COMMENT:为表和列添加注释。
(4)PARTITIONED BY创建分区表
(5)CLUSTERED BY创建分桶表
(6)SORTED BY不常用,对桶中的一个或多个列另外排序
(7)ROW FORMAT
(8)STORED AS指定存储文件类型:常用的存储文件类型:SEQUENCEFILE(二进制序列文件)、TEXTFILE(文本)、RCFILE(列式存储格式文件)
(9)LOCATION :指定表在HDFS上的存储位置。
(10)AS:后跟查询语句,根据查询结果创建表。
(11)LIKE允许用户复制现有的表结构,但是不复制数据。
一些命令举例:
(1)普通创建表:
create table if not exists student2(
id int, name string
)
row format delimited fields terminated by '\t'
stored as textfile
location '/user/hive/warehouse/student2';
(2)根据查询结果创建表(查询的结果会添加到新创建的表中)
create table if not exists student3 as select id, name from student;
(3)根据已经存在的表结构创建表
create table if not exists student4 like student;
(4)创建外部表:
hive (default)> create external table stu_external(
id int,
name string)
row format delimited fields terminated by '\t'
location '/student';
管理表与外部表的互相转换:
转外部表:
alter table student2