Flume
文章平均质量分 69
采集器
硅谷工具人
一颗么得灵魂的工具人,学废了。
展开
-
Flume自定义拦截器实现时间的自动分区
要求的数据格式如下: 自定义Flume拦截器开发 我这里判断了如果project为空时,直接丢到none里面,那么结果表名为 ods_none_name。幸亏提前预判了他们会出现空的project,结果接收时,果然他们给了一些是project为空的。然后让他们修改数据了。event 事件中可以获取到两个属性,一个是 event.getHeaders(),一个是event.getBody()。 拿到数据后用data的值覆盖了body中的值。header中的值存进去pk_year,pk_month,pk_day原创 2022-06-21 23:13:32 · 352 阅读 · 0 评论 -
Flume自定义拦截器通过可配置字段实现分区
通过自定义拦截器实现使用数据中的时间字段作为分区。 比如如下数据: 2. 配置方法 说明:从时间字段中提取年、月、日、小时,作为分区字段 注意: (1)消息体必须是JSON格式 (2)时间字段在JSON的第一层如果时间字段类型是时间戳, 如JSON格式的消息中存在时间戳字段currentTimestamp timestampField: 标识是时间戳格式的字段 currentTimestamp: JSON串中的字段名 :GMT+8: 可选,默认使用GMT+0,可以自定义时间戳的时区如果时间字段类型是年月日,原创 2022-06-01 13:03:21 · 346 阅读 · 0 评论