Hive操作

Hive数据库操作

• 数据库（Database)：表的集合，HDFS中表现为一个文件夹
  默认在hive.metastore.warehouse.dir属性目录下
• 如果没有指定数据库，默认使用default数据库
• Hive数据库操作：同MySQL一样

#启动hive
hive
#创建hivetest库
create database hivetest;
#查看数据库
show database;
#切换到hivetest数据库
use hivetest;

Hive表级操作

• 数据表（Tables)
• • 分为内部表和外部表
    默认内部表，会默认在指定的存储空间中建立对应文件夹，只要把文件放入，表就可以读取到数据（需要和表结构匹配）
• • 内部表（管理表）
    HDFS中为所属数据库目录下的子文件夹
    数据完全由Hive管理，删除表(元数据)会删除数据
• • 外部表（External Tables）
    数据保存在指定位置的HDFS路径中
    Hive不完全管理数据，删除表(元数据)不会删除数据
• Hive建表语句
  

#创建employee表
create table employee(
 name string,
 address array<string>,
 personalInfo array<string>,
 technol map<string,int>,
 jobs map<string,string>)
 row format delimited 
 #如何分隔列（字段）
 fields terminated by '|'
 #如何分隔集合和映射
 collection items terminated by ','
 map keys terminated by ':'
 lines terminated by '\n';

# 将本地文件employee.txt数据传输到hdfs中新建的hivetest库中的employee表
hadoop fs -put employee.txt /opt/hive/warehouse/hivetest.db/employee

#查询employee表中数据
select * from employee;

#查看表结构
desc employee;

#修改表结构
alter table employee change personalInfo `info` struct<gender:string,age:int>;

#创建emp_id表
create external table emp_id(
name string,
id int,
address array<string>,
personalInfo struct<sex:string,age:int>,
technol map<string,int>,
job map<string,string>)
clustered by(id) into 3 buckets
row format delimited
#如何分隔列（字段）
fields terminated by '|'
#如何分隔集合和映射
collection items terminated by ','
map keys terminated by ':'
#换行设置
lines terminated by '\n'
#文件存储格式
stored as textfile
#数据存储路径（HDFS)
location '/usr/test/employee';

Hive分区操作

定义分区

#创建p_test表时定义分区
create table p_test(
pid int,
pname string)
#通过partitioned by定义分区
partitioned by (person string)
row format delimited
fields terminated by ','
lines terminated by '\n';

动态分区

• 使用动态分区需设定属性
  
• 动态分区设置方法
  

#动态定义分区person
insert into p_test partition (person='sam') values(1,'a'),(2,'b'),(3,'c');
insert into p_test partition (person='bob') values(4,'d'),(5,'e'),(6,'f');

静态分区

#创建表employee_partition
create table employee_partition(
name string,
address array<string>,
info struct<gender:string,age:int>,
technol map<string,int>,
jobs map<string,string>)
partitioned by (country string,add string)
row format delimited
fields terminated by '|'
collection items terminated by ','
map keys terminated by ':'
lines terminated by '\n';

• 从本地目录中读取数据

#从本地/root/employee.txt目录下读取数据至employee_partition表中
load data local inpath '/root/employee.txt'
into table employee_partition
#定义分区
partition (country='china',add='LiaoNing');

#查询employee_partition表中数据
select * from employee_partition;

• 2、从hdfs中读取数据

#上传employee.txt至hdfs的/opt/hive/warehouse/hivetest.db/employee目录下
hadoop fs -put employee.txt /opt/hive/warehouse/hivetest.db/employee

#从hdfs的/opt/hive/warehouse/hivetest.db/employee/employee.txt目录下读取数据至employee_partition表
load data inpath '/opt/hive/warehouse/hivetest.db/employee/employee.txt'
into table employee_partition
#定义分区
partition (country='china',add='ninjing');

#查询employee_partition表中数据
select * from employee_partition;

查看hdfs中的分区情况

• 动态分区
• • 使用动态分区需设定属性
    
• • 动态分区设置方法
    

#动态定义分区person
insert into p_test partition (person='sam') values(1,'a'),(2,'b'),(3,'c');
insert into p_test partition (person='bob') values(4,'d'),(5,'e'),(6,'f');

Hive分桶操作

分桶（Buckets ）

• 分桶对应于HDFS中的文件
  更高的查询处理效率
  使抽样（sampling）更高效
  根据“桶列”的哈希函数将数据进行分桶
• 分桶只有动态分桶

set hive.enforce.bucketing = true;

• 定义分桶

#分桶的列是表中已有的列
#分桶数最好是2的n次方
clustered by (employee_id) into 2 buckets

• 必须使用INSERT方式加载数据

案例：

create external table emp_bucket(
name string,
id int,
address array<string>,
personalInfo struct<sex:string,age:int>,
technol map<string,int>,
job map<string,string>)
#定义分桶
clustered by(id) into 3 buckets
row format delimited
fields terminated by '|'
collection items terminated by ','
map keys terminated by ':'
lines terminated by '\n'
stored as textfile
location '/usr/test/bucket';

#动态分桶
set hive.enforce.bucketing=true;