代码示例讲解Hive分区分桶以及自定义函数

导入数据：

1、

load data local inpath '/root/tes.txt' into table test.usr;

  将本地的数据导入到hive中

2、从hdfs集群导入数据

load data inpath 'hdfs://node01:9000/user/tes.txt' into table test.te; LOAD DATA命令，可分为LOAD DATA LOCAL INPATH和LOAD DATA INPATH。两者的区别在于LOCAL导入的是本地文件而不加LOCAL的导入的是HDFS文件---相当于直接将文件进行相应的上传

3、insert into---内外部表，不适应于分区

4、

from table1 insert into（overwrite） tables2 select id ,name

分区表

Hive 分区partition(分成不同的文件目录进行存储)

1、静态分区：

必须在表定义时指定对应的partition字段-----分区字段一定不能与表中字段重复

a、单分区建表语句：

create table day_table (id int, content string) partitioned by (dt int);

上传数据： load data local inpath '/root/tes.txt' into table test.usr partition (age=10);

单分区表，按天分区，在表结构中存在id，content，dt三列。

以dt为文件夹区分

粗细力度分区的时候要根据业务需求，提前进行相应的设定 年月日时分秒----为了减少