watermark

package cn.itcast.streaming.watermark;

import cn.itcast.entity.ItcastDataObj;
import org.apache.flink.streaming.api.functions.*;
import org.apache.flink.streaming.api.watermark.Watermark;

import javax.annotation.Nullable;

/**
 * 驾驶行程自定义水印对象,解决数据迟到30s的问题
 */
public class TripDriveWatermark implements AssignerWithPeriodicWatermarks<ItcastDataObj> {
    //定义当前窗口最大的水印时间戳
    Long currentMaxTimestamp = 0L;
    //定义允许最大乱序的事件:30s
    Long maxOutOfOrderness = 1000*30L;

    /**
     * 生成当前水印
     * @return
     */
    @Nullable
    @Override
    public Watermark getCurrentWatermark() {
        return new Watermark(currentMaxTimestamp - maxOutOfOrderness);
    }

    /**
     * 抽取事件事件
     * @param itcastDataObj
     * @param l
     * @return
     */
    @Override
    public long extractTimestamp(ItcastDataObj itcastDataObj, long l) {
        //获取到当前窗口最大的事件时间
        currentMaxTimestamp = Math.max(currentMaxTimestamp, itcastDataObj.getTerminalTimeStamp());
        System.out.println("当前数据时间:"+itcastDataObj.getTerminalTimeStamp());
        return currentMaxTimestamp;
    }
}
 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值