【Hive】关于Hive的几个需要注意的点

1.Hive基础部分：

1.1 hive内部表外部表区别

内部表：内部表会将表的数据一起剪切或者复制到对应的数据仓库（一般是/user/hive/warehouse）目录下去，所以在删除时候会将表的数据和结构一并删除

外部表：只记录表数据的位置信息，并不会复制或者剪切数据到对应的数据仓库目录中，删除外部表只会删除一些位置信息，并不删除原来表的数据

//创建内部表：
create table if not exists dept(
deptno int,
deptname string,
address string
)
row  format delimited fields terminated by '\t';

//加载HDFS文件到Hive表中
load data inpath '/input/dept.txt' into table dept;

//用来指定原文件的列分隔符
row  format delimited fields terminated by '\t';
load 如果操作的HDFS上的文件，代表着会移动或者剪切文件

desc formatted dept;  //描述表结构信息
Location:               hdfs://bigdata/user/hive/warehouse/db01.db/dept  
Table Type:             MANAGED_TABLE 


//创建外部表：
create  external table emp(
empno int,
empname string,
empjob string,
mgno int,
birthday string,
salary float,
bonus float,
depno int
)
row  format delimited fields terminated by '\t'
location '/input/demo';

//描述表结构
desc formatted emp;
Location:               hdfs://bigdata/input/demo    
Table Type:             EXTERNAL_TABLE 

删除内部表
drop table dept;

删除外部表
drop table emp;

清空表数据
truncate table student;

1.2 hive分区和分桶

分区：所谓的分区就是将数据表产生多个文件夹再存入数据仓库中

分桶：会将被分桶的数据放入不同的文件下进行保存，每一个文件相当于一个桶（插入数据智能通过insert，每次插入都会产生一次mr）

==============创建分区表=====================
 create  table emp_part(  //只是创建外部分区表的话就在 table前面加external
 empno int,
 empname string
 )
 partitioned by (province string)
row format delimited fields terminated by '\t';

//向分区表加载数据
load data local inpath '/home/user01/emp.txt' into table emp_part partition (province='CHICAGO');

//描述表信息
desc formatted  emp_part;

//查询全表数据
select * from emp_part;

//查询分区字段表数据
select * from emp_part where province='CHICAGO';

//查看分区信息
show partitions emp_part;

//增加分区
aler table emp_part add [if not exist] partition(provine='zhejiang',city='hangzhou') 

//删除分区
aler table emp_part drop [if  exist] partition(provine='zhejiang',city='hangzhou')

==============创建桶表=====================
create table test_bucket_table(
id int,
name string
)
clustered by (id) into 5 bucket;

1.3 数据的导入导出

1.本地导入

laod data local inpth '本地文件(linux)' into table  table_name;
laod data [local] inpth '文件' overwrite  into table；（会覆盖原来的数据）

2.Hdfs导入

laod data  inpth 'HDFS文件' [overwrite] into table  table_name;
desc formatted table_name;  --找到table_name在HDFS上的目录

3.创建表同时查询导入

create table tableB row format delimited filelds termianted by ','  as select * from tableA; 

4.查询导入

insert into table table_namea  select  *  fom tableB

//============数据导出=============
1.insert overwrite ... 导出到本地目录

insert overwrite local directory '/home/user01/export' row format delimited fields terminated by ' ' select * from emp_part1;

2.insert overwrite ... 导出到HDFS之上
insert overwrite directory '/export' select * from emp_part1 where day='20170308';

3.hive -e 'HQL query'  >> test
bin/hive -e 'select * from db01.student' >> test.txt

4)sqoop

1.4 Hive中的排序方法

1.order by 全局排序 

        order by会对输入做全局排序，因此只有一个Reducer(多个Reducer无法保证全局有序)，然而只有一个Reducer，会导致当输入规模较大时，消耗较长的计算时间。

2.sort by 局部排序  在reduce之前

        sort by不是全局排序，其在数据进入reducer前完成排序，因此，如果用sort by进行排序，并且设置mapred.reduce.tasks>1，则sort by只会保证每个reducer的输出有序，并不保证全局有序。sort by不同于order by，它不受Hive.mapred.mode属性的影响，sort by的数据只能保证在同一个reduce中的数据可以按指定字段排序。使用sort by你可以指定执行的reduce个数(通过set mapred.reduce.tasks=n来指定)，对输出的数据再执行归并排序，即可得到全部结果。

3.distribute by  分区排序（将map端数据分区分发给Reduce端）

        distribute by是控制在map端如何拆分数据给reduce端的。hive会根据distribute by后面列，对应reduce的个数进行分发，默认是采用hash算法。sort by为每个reduce产生一个排序文件。在有些情况下，你需要控制某个特定行应该到哪个reducer，这通常是为了进行后续的聚集操作。distribute by刚好可以做这件事。因此，distribute by经常和sort by配合使用。
 

4.cluster by 具备 cluster by 和  .sort by的功能

        cluster by除了具有distribute by的功能外还兼具sort by的功能。当distribute by和sort by 是同一个字段的时候可以使用cluster by替代。但是排序只能是倒叙排序，不能指定排序规则为ASC或者DESC。

1.5 Hive数据仓库和数据库的区别

(1）由于Hive采用了SQL的查询语言HQL，因此很容易将Hive理解为数据库。其实从结构上来看，Hive和数据库除了拥有类似的查询语言，
 再无类似之处。
（2）数据存储位置。  hdfs   raw local fs
（3）数据格式。 分隔符
（4）数据更新。hive读多写少。Hive中不支持对数据的改写和添加，所有的数据都是在加载的时候中确定好的。
INSERT INTO … VALUES添加数据，使用UPDATE … SET修改数据  不支持的
HDFS 一次写入多次读取
（5） 执行。hive通过MapReduce来实现的  而数据库通常有自己的执行引擎。 
（6）执行延迟。由于没有索引，需要扫描整个表，因此延迟较高。另外一个导致Hive执行延迟高的因素是MapReduce框架
（7）可扩展性。
（8）数据规模。