Hive数据操作方法

DDL数据定义

//创建数据库
CREATE DATABASE [IF NOT EXISTS] database_name
[COMMENT database_comment]
[LOCATION hdfs_path]
[WITH DBPROPERTIES (property_name=property_value, ...)];
//显示数据库
hive> show databases like 'db_hive*';
//显示数据库详情
hive> desc database db_hive;
//切换数据库
hive (default)> use db_hive;

管理表（内部表）

      默认创建的表都是所谓的管理表，有时也被称为内部表。因为这种表，Hive会（或多或少地）控制着数据的生命周期。Hive默认情况下会将这些表的数据存储在由配置项hive.metastore.warehouse.dir(例如，/user/hive/warehouse)所定义的目录的子目录下。         当我们删除一个管理表时，Hive也会删除这个表中数据。管理表不适合和其他工具共享数据。

外部表

       因为表是外部表，所以Hive并非认为其完全拥有这份数据。删除该表并不会删除掉这份数据，不过描述表的元数据信息会被删除掉。

2）管理表和外部表的使用场景

      每天将收集到的网站日志定期流入HDFS文本文件。在外部表（原始日志表）的基础上做大量的统计分析，用到的中间表、结果表使用内部表存储，数据通过SELECT+INSERT进入内部表。 

//创建表
CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name 
[(col_name data_type [COMMENT col_comment], ...)] 
[COMMENT table_comment] 
[PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)] 
[CLUSTERED BY (col_name, col_name, ...) 
[SORTED BY (col_name [ASC|DESC], ...)] INTO num_buckets BUCKETS] 
[ROW FORMAT row_format] 
[STORED AS file_format] 
[LOCATION hdfs_path]
[TBLPROPERTIES (property_name=property_value, ...)]
[AS select_statement]
[LIKE table_name]


//查看创建的表
show tables;
//修改表
ALTER TABLE table_name RENAME TO new_table_name；

 实操案例

1.创建一张表

create table student（id int,name string）row format delimited fields terminated by '\t';

2.加载本地文件

load data local inpath '/opt/module/hive/datas/student.txt' into table student;

3.加载HDFS文件到hive中

dfs -put /opt/module/hive/datas/students.txt  /user/atguigu;

4.加载HDFS上数据，导入完成后去hdfs查看文件是否还存在

load data inpath '/user/student.txt' into table student;

dfs -put /opt/module/hive/datas/student.txt  /user;

5.加载数据覆盖表中已有的数据

load data inpath ‘user/student.txt’ overwrite into table student;

创建一张表

create table student2(id int, name string) row format delimited fields terminated by '\t';

DML数据修改

基本模式插入数据

insert into table student2 values (1,'wangwu'),(2,'zhaoliu');

根据查询结果插入数据

insert overwrite table student2

select id , name from student where id<1006; 

Import 数据到指定Hive表中

import table student2 from '/user/hive/warehouse/export/student';

Insert导出 将hive中的数据导出

(本地)insert overwrite local directory ‘/opt/module/hive/datas/export/student’ select * from student;

(HDFS) insert overwrite directory ‘/user/student’ ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' select * from student; 

EXPORT导出到HDFS上

export table default.student to '/user/hive/warehouse/export/student';