hive3.1.2 笔记 知识点详解(三)导出数据方式 分区表

1 导出数据方式

1.1

export tb_name to HDFS_PATH

1.2

如果数据是普通的文本数据 在shell客户端使用get下载数据

hdfs dfs -get /tb_name/file
hive端：	
hive>  dfs -get  /文件    

1.3

不开启hive终端 执行SQL语句
	hive -e "use dafault; select * from tb_user ";
	hive -e "select  * from tb_user " >> log.tb    将SQL执行结果追加到log.tb文件中
执行SQL脚本
	[root@linux01 ~]# vi test.sql 
					use default;
					select * from tb_log ;
	[root@linux01 ~]# hive -f test.sql 

1.4 sqoop dataX 数据迁移工具

1.5 insert

将查询结果保存到本地目录中
insert overwrite local directory "/root/"
select * from tb_user;

1.6

将查询结果保存到表中
insert into tb_log_res select count(1),avg(age) from tb_log ;

2 分区表

2.1 分区表介绍

分区表 : 将表的数据以查询维度为依据分文件夹管理 , 当根据这个维度查询的时候减少数据的检索范围。比如有一个log表，所有的日志数据在log表目录下 ,假如想查20201130日的数据 , 只能遍历所有的数据。有了分区表以后 数据就可以以日期为维度，为文件夹存储对应日期的数据。假如想查20201130日的数据直接从对应的文件夹下读取数据 。

分区表实际上就是对应一个HDFS文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录。在查询时通过WHERE子句中的表达式选择查询所需要的指定的分区，这样的查询效率会提高很多。

2.2 静态分区

文件中存储的是指定规则的数据 。比如 a.log中存储的就是20201130的数据，直接创建一个分区叫20201130 ，将数据直接load到目录下。

创建一级分区表

create table tb_partition_log(
log_id string ,
url string ,
ct string
)
partitioned  by(dt string) -- 指定分区字段
row format delimited fields terminated by ',' ;

将静态数据导入到指定的分区中
load data local inpath "/root/log/20201128.log"  into  table tb_partition_log partition(dt='20201128') ;
load  data  local  inpath  "/data/log/20201129.log"  into  table tb_partition_log partition(dt='20201129') ;

此时会在表目录下生成两个文件夹，名字就为dt=20201128 ，dt=20201129

查询某天的日志，即查询某个分区文件夹下的日志文件
select * from tb_partition_log where dt='20201128';
结果如下：
+--------------------------+-----------------------+----------------------+----------------------+
| tb_partition_log.log_id  | tb_partition_log.url  | tb_partition_log.ct  | tb_partition_log.dt  |
+--------------------------+-----------------------+----------------------+----------------------+
| 1                        | url1                  | 20201128             | 20201128             |
| 2                        | url2                  | 20201128             | 20201128             |
| 3                        | url3                  | 20201128             | 20201128             |
| 4                        | url4                  | 20201128             | 20201128             |
| 5                        | url5                  | 20201128             | 20201128             |
| 6                        | url6                  | 20201128             | 20201128             |
| 7                        | url7                  | 20201128             | 20201128             |
+--------------------------+-----------------------+----------------------+----------------------+

创建二级分区表

create table tb_partition_log2(
log_id string ,
url string ,
ct string
)
partitioned  by(m string , d string) -- 指定分区字段  2个
row format delimited fields terminated by ',' ;

导入数据
load  data  local  inpath  "/root/log/20201128.log" into  table tb_partition_log2 partition(m='202011' , d='28') ;
load  data  local  inpath  "/data/log/20201129.log" into  table tb_partition_log2 partition(m='202011' , d='29') ;
load  data  local  inpath  "/data/log/20201010.log" into  table tb_partition_log2 partition(m='202010' , d='10') ;

2.3 动态分区

按照某个字段自动的将数据加载到指定的分区中

有一个表数据如下：
select *  from tb_user_log ;
	+------------------+-------------------+-------------------+
	| tb_user_log.uid  | tb_user_log.name  | tb_user_log.city  |
	+------------------+-------------------+-------------------+
	| 1                | lisi              | Shanghai          |
	| 2                | ycy               | Shanghai          |
	| 3                | ym                | Beijing           |
	| 4                | Yangzi            | Beijing           |
	| 5                | Yangguo           | shenzhen          |
	| 6                | mayun             | shenzhen          |
	| 7                | mbg               | Shanghai          |
	| 8                | marong            | shenzhen          |
	+------------------+-------------------+-------------------+
要求根据城市分区
1）创建一个分区表
	CREATE  TABLE tb_dynamic_partition_user_log(
	id int ,
	name string ,
	city string 
	)
	partitioned by(p_city string) ;
	
2）开启动态分区 
set hive.exec.dynamic.partition=true ;
set hive.exec.dynamic.partition.mode=nonstrick;  --可以从普通表导入到分区表
想要永久生效，需要设置在hive—site.xml文件中

3）通过insert ..select... 方式导入数据
insert into tb_dynamic_partition_user_log partition(p_city)
select uid,name,city,city as p_city from tb_user_log;

在HDFS中表目录下生成三个文件夹：
		p_city=Beijing	
		p_city=Shanghai
		p_city=shenzhen

分区表操作

添加分区
alter table dept_partition add partition(month=‘201706’) ;
alter table dept_partition add partition(month=‘201705’) partition(month=‘201704’);

删除分区
alter table dept_partition drop partition(month=‘201704’);

查看分区表有多少分区
show partitions dept_partition;

查看分区表结构
desc formatted dept_partition；

3 数据库的操作

show databases; 显示所有数据库
use db_name（数据库名）; 切换数据库
select current_database(); 查看当前使用数据库