Hive DDL

Hive的数据在哪里??

• Hive的数据存放在HDFS之上（真实数据）
• Hive的元数据可以存放在RDBMS之上（元数据）

Hive数据抽象结构图

Database:

• Hive 中的Database 相当于是Hdfs中的一个文件夹
• Hive 默认自带一个default数据库
  • 默认数据库存放位置：/user/hive/warehouse
  • 位置是由参数决定的：hive.metastore.warehouse.dir
• Hive所有参数的查询：https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties
• Hive中需要参看参数信息 使用 set key ,如果需要修改参数的话 使用 set key = value 的方式
  • 这里我是用set 来查看hive中数据库在Hdfs中 默认的存放位置
  • 
  • 这里需要注意的是在初始安装好hive之后,Hdfs上并不会有 /user/hive/warehouse 这个目录.需要对hive进行操作之后才会在Hdfs中创建这个目录

DDL简介

DDL : Data Definition Language(描述Hive表数据的结构) 一般包含对数据库的 创建 修改 删除 使用 一些操作;

• Hive 官网 DDL 部分

Create Database(创建数据库)

官网 创建 数据库 详细的创建语法

CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name
  [COMMENT database_comment]
  [LOCATION hdfs_path]
  [WITH DBPROPERTIES (property_name=property_value, ...)];

• IF NOT EXISTS：加上这句话代表判断数据库是否存在，不存在就会创建，存在就不会创建（生产中一定要添加IF NOT EXISTS）。
• COMMENT：数据库的描述
• LOCATION：创建数据库的地址，不加默认在/user/hive/warehouse/路径下
• WITH DBPROPERTIES：数据库的属性

生产中一般我们使用如下语句 即可

CREATE DATABASE IF NOT EXISTS database_name;

创建的数据库目录在 ${hive.metastore.warehouse.dir}/dbname.db中.

创建数据库

查看数据库所在目录

测试不在默认路径下创建数据库,并且添加 额外的描述信息

查看数据的详细信息

desc database extended d5_hive_2;

Drop Database(删除数据库)

DROP (DATABASE|SCHEMA) [IF EXISTS] database_name [RESTRICT|CASCADE];

• RESTRICT：默认是restrict，如果该数据库还有表存在则报错；
• CASCADE：级联删除数据库(当数据库还有表时，级联删除表后在删除数据库)。

测试删除表

drop database d5_hive_2;

在删除 d5_hive 之前我先在 d5_hive中创建一张表,然后在删除数据库

drop database d5_hive;
hive (d5_hive)> drop database d5_hive;
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. InvalidOperationException(message:Database d5_hive is not empty. One or more tables exist.)

执行的时候报的错误信息,提示 d5_hive不为空,有表存在, 所以在删除数据的时候,如果有表的存在是不能直接删除的.

如果真的确定这个数据库不用了,需要删除,不需要其中的表数据了,那么可以使用如下的命令:
切记 此命令基本不用!!!

drop database d5_hive CASCADE;

Alter Database(修改数据库内容)

LTER (DATABASE|SCHEMA) database_name SET DBPROPERTIES (property_name=property_value, ...);   -- (Note: SCHEMA added in Hive 0.14.0)
 
ALTER (DATABASE|SCHEMA) database_name SET OWNER [USER|ROLE] user_or_role;   -- (Note: Hive 0.13.0 and later; SCHEMA added in Hive 0.14.0)
  
ALTER (DATABASE|SCHEMA) database_name SET LOCATION hdfs_path; -- (Note: Hive 2.2.1, 2.4.0 and later)

Use Database(切换数据库)

USE database_name;
USE DEFAULT;

Show Databases(显示数据库)

SHOW (DATABASES|SCHEMAS) [LIKE 'identifier_with_wildcards'

Hive中的数据类型

• Hive所有的数据类型
• 生产中常用的数据类型为
  • 数字类型: int bigint float double
  • 字符串: string
  • 生产上不要使用datetime 和 boolean 类型 全部使用string类型

Hive 数据分隔符

hive创建表，然后数据是存储在HDFS之上,所以创建表的时候要指定分隔符;

• 默认的数据分隔符是\001 ^A
• 常见的数据分隔符 是 空格 和 制表符(\t)

表

创建表

Create Table

CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name    -- (Note: TEMPORARY available in Hive 0.14.0 and later)
  [(col_name data_type [COMMENT col_comment], ... [constraint_specification])]
  [COMMENT table_comment]
  [PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)]
  [CLUSTERED BY (col_name, col_name, ...) [SORTED BY (col_name [ASC|DESC], ...)] INTO num_buckets BUCKETS]
  [SKEWED BY (col_name, col_name, ...)                  -- (Note: Available in Hive 0.10.0 and later)]
     ON ((col_value, col_value, ...), (col_value, col_value, ...), ...)
     [STORED AS DIRECTORIES]
  [
   [ROW FORMAT row_format] 
   [STORED AS file_format]
     | STORED BY 'storage.handler.class.name' [WITH SERDEPROPERTIES (...)]  -- (Note: Available in Hive 0.6.0 and later)
  ]
  [LOCATION hdfs_path]
  [TBLPROPERTIES (property_name=property_value, ...)]   -- (Note: Available in Hive 0.6.0 and later)
  [AS select_statement];   -- (Note: Available in Hive 0.5.0 and later; not supported for external tables)
 
CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name
  LIKE existing_table_or_view_name
  [LOCATION hdfs_path];
 
data_type
  : primitive_type
  | array_type
  | map_type
  | struct_type
  | union_type  -- (Note: Available in Hive 0.7.0 and later)
 
primitive_type
  : TINYINT
  | SMALLINT
  | INT
  | BIGINT
  | BOOLEAN
  | FLOAT
  | DOUBLE
  | DOUBLE PRECISION -- (Note: Available in Hive 2.2.0 and later)
  | STRING
  | BINARY      -- (Note: Available in Hive 0.8.0 and later)
  | TIMESTAMP   -- (Note: Available in Hive 0.8.0 and later)
  | DECIMAL     -- (Note: Available in Hive 0.11.0 and later)
  | DECIMAL(precision, scale)  -- (Note: Available in Hive 0.13.0 and later)
  | DATE        -- (Note: Available in Hive 0.12.0 and later)
  | VARCHAR     -- (Note: Available in Hive 0.12.0 and later)
  | CHAR        -- (Note: Available in Hive 0.13.0 and later)
 
array_type
  : ARRAY < data_type >
 
map_type
  : MAP < primitive_type, data_type >
 
struct_type
  : STRUCT < col_name : data_type [COMMENT col_comment], ...>
 
union_type
   : UNIONTYPE < data_type, data_type, ... >  -- (Note: Available in Hive 0.7.0 and later)
 
row_format
  : DELIMITED [FIELDS TERMINATED BY char [ESCAPED BY char]] [COLLECTION ITEMS TERMINATED BY char]
        [MAP KEYS TERMINATED BY char] [LINES TERMINATED BY char]
        [NULL DEFINED AS char]   -- (Note: Available in Hive 0.13 and later)
  | SERDE serde_name [WITH SERDEPROPERTIES (property_name=property_value, property_name=property_value, ...)]
 
file_format:
  : SEQUENCEFILE
  | TEXTFILE    -- (Default, depending on hive.default.fileformat configuration)
  | RCFILE      -- (Note: Available in Hive 0.6.0 and later)
  | ORC         -- (Note: Available in Hive 0.11.0 and later)
  | PARQUET     -- (Note: Available in Hive 0.13.0 and later)
  | AVRO        -- (Note: Available in Hive 0.14.0 and later)
  | JSONFILE    -- (Note: Available in Hive 4.0.0 and later)
  | INPUTFORMAT input_format_classname OUTPUTFORMAT output_format_classname
 
constraint_specification:
  : [, PRIMARY KEY (col_name, ...) DISABLE NOVALIDATE ]
    [, CONSTRAINT constraint_name FOREIGN KEY (col_name, ...) REFERENCES table_name(col_name, ...) DISABLE NOVALIDATE 

按照官方文档给的信息，创建一个表看看详细信息

CREATE TABLE  table_name (
col_name data_type,
col_name data_type,
col_name data_type,
col_name data_type,
)
ROW FORMAT DELIMITED  FIELDS TERMINATED BY '\t'
;

hive (d5_hive)> use d5_hive;
OK
Time taken: 0.031 seconds
hive (d5_hive)> CREATE TABLE ruoze_emp(
              > empno int, 
              > ename string, 
              > job string,
              > mgr int,
              > hiredate string,
              > sal double,
              > comm double,
              > deptno int
              > )
              > ROW FORMAT DELIMITED  FIELDS TERMINATED BY '\t'
              > ;
OK
Time taken: 0.141 seconds

查看表的信息

desc formatted ruoze_emp;

复制一张表的结构
使用 like 可以直接复制表的结构,不会有表的数据

hive (d5_hive)> create table ruoze_emp_2 like ruoze_emp;
OK

复制表的结构和数据
在create table 最后 加上 as 后面 添加查询语句 即可

hive (d5_hive)> create table ruoze_emp_3 as select * from ruoze_emp;

加载数据

从本地加载数据到hive中
查看下本地的数据

执行加载数据操作

hive (d5_hive)> load data local inpath '/home/hadoop/data/emp.txt' overwrite into table ruoze_emp; 
Loading data to table d5_hive.ruoze_emp
Table d5_hive.ruoze_emp stats: [numFiles=1, numRows=0, totalSize=700, rawDataSize=0]
OK
Time taken: 0.418 seconds

查看hdfs中的数据

这样进一步理解hive的数据是保存在hdfs中的,

修改表

修改表名

ALTER TABLE table_name RENAME TO new_table_name;

修改表属性

ALTER TABLE table_name SET TBLPROPERTIES table_properties;
 
table_properties:
  : (property_name = property_value, property_name = property_value, ... )

修改表字段

ALTER TABLE table_name SET TBLPROPERTIES ('comment' = new_comment);

删除表

drop table table_name

在 hive中删除表之后,hdfs中的数据也不会存在了