hive表指定分区字段搜索_关于hive中如何创建外部分区表并且自动指定相应分区？...

问题描述：项目需求，通过flume从本地抽取数据到hdfs中(这个过程以实现)，抽取到hdfs的文件是以当天的时间命名的文件，存放当天更新的数据。比如说，今天是2017年1月5号，所以在hdf...

问题描述：

项目需求，通过flume从本地抽取数据到hdfs中(这个过程以实现)，抽取到hdfs的文件是以当天的时间命名的文件，存放当天更新的数据。比如说，今天是2017年1月5号，所以在hdfs存储的目录(假设为/user/flume/)下会自己生成一个文件为20170105的文件，文件下存放的是今天抽取数据的文件夹，而明天则会生成一个20170106的文件夹存放明天抽取数据的文件夹。现在文件夹是以时间作为划分的。此时我如果需要建一个表，导入里面的/user/flume目录下的20170105和20170106文件下的内容我需要怎么做呢？

首先我想到的方法是：

create EXTERNAL table IF NOT EXISTS test(

param1 string,

param2 string,

param3 string,

param4 string)

partitioned by (month string)

ROW FORMAT DELIMITED FIELDS TERMINATED BY ','

STORED AS TEXTFILE

location '/user/flume/20170105';

可是这里出现了一个问题，就是我只能指定这一个路径。

后来我又想了一种方式就是：

create EXTERNAL table IF NOT EXISTS test(

param1 string,

param2 string,

param3 string,

param4 string)

partitioned by (month string)

ROW FORMAT DELIMITED FIELDS TERMINATED BY ','

STORED AS TEXTFILE；

alter table test add partition (month = '20170105') location '/user/flume/20170105';

alter table test add partition (month = '20170106') location '/user/flume/20170106';

可是这样又会出现一个问题就是我如果每天都要采集数据，每天都会生成文件，比如第三天生成20170107，我岂不是每次都要手动去添加一个分区进入这张表中，可是我不这样做，我又要怎么做呢？

展开