高矮

原创 Flume-将数据写入动态分区表

一、 场景描述 实时监控文件目录，将目录中的实时产生的数据文件（文件内容非动态）写入动态分区，分区为3级（设备ID/文件产生日期/文件产生的时间（h））.文件名格式如下（日期+时间+产品ID.txt） 二、 主要存在的难点 由于flume只支持传入一些简单的参数变量（时间/日期/文件名等），所以这里我们如果想动态的识别我们的文件名并直接生成sink的路径及相应文件名有困难。 三、 解决方法...