离线数仓0点漂移问题解决:使用拦截器解决0点漂移问题

最新推荐文章于 2024-08-12 02:06:47 发布

丘卡丘丘丘皮

最新推荐文章于 2024-08-12 02:06:47 发布

阅读量749

点赞数

分类专栏： Flume 文章标签： java 数据库大数据 flume 数据仓库

本文链接：https://blog.csdn.net/YyyZzzLllx/article/details/126531058

版权

本文探讨了离线数据仓库中0点漂移问题，即跨天数据混淆导致的准确性问题。解决方案是在Flume的KafkaSource下添加拦截器，在拦截器中进行时间戳校正，确保数据被正确归类。提供了一段关于如何创建拦截器的代码示例。

摘要由CSDN通过智能技术生成

什么是0点漂移问题?

哪个位置处理?

处理代码/拦截器代码如下:

什么是0点漂移问题?

即:第一天晚上11:59:59产生的数据可能会在第二天的0点左右收到,如果不处理就会当成第二天产生的数据,影响准确性,所以需要处理

哪个位置处理?

如果你的数仓用到flume;一般在flume中的kafkasource下又加了一个拦截器进行处理

处理代码/拦截器代码如下:

public class TimestampAndTableNameInterceptor implements Interceptor {

    @Override
    public void initialize() {

    }

    @Override
    public Event intercept(Event event) {
        //获取头数据
        Map<String, String> headers = event.getHeaders();