Hive基本概念
一.Hive的优势和特点
- 提供了一个简单的优化模型
- HQL类SQL语法,简化MR开发
- 支持在不同的计算框架上运行
- 支持在HDFS和HBase上临时查询数据
- 支持用户自定义函数、格式
- 成熟的JDBC和ODBC驱动程序,用于ETL和BI
- 稳定可靠(真实生产环境)的批处理
- 有庞大活跃的社区
二.Hive体系架构
三.Hive Interface -命令窗口模式
- 有两种工具:Beeline和Hive命令行(CLI)
- 有两种模式:命令行模式和交互模式
- 命令行模式
- 交互模式
- hiveserver和beeline(hiveserver2)的区别:
- hive不需要启动服务再访问(即它的客户端和服务端都在hive这个命令,只需要输入hive就可以正常进入hive命令端了
- beeline需要先启动服务端,再访问客户端
- beeline在查询效率上比hive高
- beeline不支持update和delete,hive都支持
四.启动beeline(hiveserver2)
第一步
- 先输入
hiveserver2
启动服务
第二步
- 新开一个窗口,然后输入
beeline -u "jdbc:hive2://localhost:10000"
五.Hive数据类型
- 原始数据-类似于SQL数据类型
- 加黑部分为推荐使用
- 复杂数据类型
- ARRAY:存储的数据为相同类型
- MAP:具有相同类型的键值对
- STRUCT:封装了一组字段
六.Hive元数据结构
1.Database
- 表的集合,HDFS中表现为一个文件夹
- 默认在/opt/hive/warehouse/属性目录下
- 如果没有指定数据库,默认使用default数据库
create database if not exists myhivebook;
use myhivebook;
show databases;
describe database default; --more details than ’show’, such as location
alter database myhivebook set owner user dayongd;
drop database if exists myhivebook cascade;
- 面试题:如何知道和显示当前所在数据库?
- select current_database();
2.Tables
- 分为内部表和外部表
- 内部表(管理表)
- HDFS中为所属数据库目录下的子文件夹
- 数据完全由Hive管理,删除表(元数据)会删除数据
- 外部表(External Tables)
- 数据保存在指定位置的HDFS路径中
- Hive不完全管理数据,删除表(元数据)不会删除数据
七.Hive表&数据操作
链接: Hive表&数据操作.
八.modify和change
- modify修改字段类型
alter table 表名 modify 原字段名 新属性
- change 修改字段类型和属性
ALTER TABLE 数据库名.表名 CHANGE COLUMN 字段名 新的字段名(如果不变就保持原字段) 字段类型(若不变就采用原来的字段类型) COMMENT '新的字段备注';