一、Hive基本概念
1.简介:是基于Hadoop的一个数据仓库工具,可以将结 构化的数据文件映射成一张表,并提供 SQL查询功能,用于解决海量数据结构化日志的数据统计工具。
2.本质:将HQL转换成MapReduce程序
1)Hive处理的数据存储在HDFS
2)Hive分析数据底层的实现是MapReduce
3)执行程序运行在Yarn上
3.优点
1)操作接口使用SQL语法,简单、容易上手。
2)避免了编写MapReduce,减少开发人员的学习成本。
3)Hive执行延迟比较高(常用于数据分析,对实时性要求不高的场合,
4)由于Hive的延迟执行较高,对处理大数据比较有优势。
5)支持用户自定义函数,可以根据用户自身需求实现自己的函数。
4.缺点
1)由于MapReduce数据处理流程的限制,效率更高的算法无法实现(不擅长数据挖掘);迭代式无法表达。
2)调优比较困难,颗粒较粗;hive自动生成的MapReduce作业,一般不够智能化。
5.架构
1)Client(用户接口)
CLI(提供交互shell方式接入hive)、JDBC/ODBC(java访问hive),WEBUI(浏览器访问hive)
2)Meta(元数据)
包括表名、表所属的数据库、表的拥有者、列/分区字段、表的类型和表的数据所在目录等。
3)Hadoop集群
使用HDFS进行存储,使用MapReduce进行计算
4)驱动器
解析器:对SQL进行语法分析和语义分析
编译器:将AST编译生成逻辑执行计划
优化器:对逻辑执行计划进行优化
执行器:将逻辑执行计划转换成可以运行的物理计划。
二、Hive的数据类型
分为基本类型和复合数据类型。
1.基本数据类型
注:String类型相当于数据库的varchar类型(可变字符串),区别是不能声明其中最多储存多少个字符,理论上可以存储2GB的字符数。
2.复合数据类型
1)直接用下标进行访问(与c数组相似)
2)map字段的元素访问方式
//根据key键和value值进行访问
select mp["name"] as name,mp["age"] as age from test;
3)struct的访问
//查询语法
select str.name from test1;
3.数据类型转换
1.显式转换
1)强制转换浮点数为int
select cast("1.23" as int)
2)强制转换浮点型为字符串
select cast("1.23" as string);
2.隐式转换(系统会进行自动类型转换)
1)tinyint-->int-->bigint
2)所有整数类型、float 和 string类型都可以隐式地转换成double。
3)tinyint、smallint、int都可以转换为float。
4)boolean类型不可以转换为任何其它的类型。
三、DDL操作
1.数据库DDL操作
1)创建数据库
hive> show databases;
2)显示数据库
hive> show databases like 'db_hive*';
3)查看数据库详情
hive> desc database db_hive;
4)显示数据库详细信息
hive> desc database extended db_hive;
5)切换当前数据库
hive > use db_hive;
6)删除数据库
hive> drop database if exists db_hive;
7)如果数据库中有表存在,那么要加cascade强制删除
hive> drop database if exists db_hive cascade;