flink生成Watermark之assignTimestampsAndWatermarks

DataStreamSource对象上调用assignTimestampsAndWatermarks方法,自定义Timestamp提取规则和Watermark生成规则。在flink1.11版本之前,flink内置的Timestamp分配器有以下4种:

基于AssignerWithPeriodicWatermarks接口

AssignerWithPeriodicWatermarks接口扩展自TimestampAssigner类,其中extractTimestamp方法定义抽取Timestamp,getCurrentWatermark方法定义Watermark生成规则,该接口会周期性进行调用。

//在assignTimestampsAndWatermarks中,通过AssignerWithPeriodicWatermarks抽取Timestamp和生成周期性水位线示例
public class Test{
   
    public static void main(String[] args) throws  Exception{
   
        //创建流处理环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        //设置EventTime语义
        env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime);
        //设置周期性生成Watermark间隔(10毫秒)
        env.getConfig().setAutoWatermarkInterval(10L);
        //并行度1
        env.setParallelism(1);
        //演示数据
        DataStreamSource<ClickEvent> mySource = env.fromElements(
                new ClickEvent("user1", 1L, 1),
                new ClickEvent("user1", 2L, 2),
                new ClickEvent("user1", 3L, 3),
                new ClickEvent("user1", 4L, 4),
                new ClickEvent("user1", 5L, 5),
                new ClickEvent("user1", 6L, 6),
                new ClickEvent("user1", 7L, 7),
                new ClickEvent("user1", 8L, 8)
        );
        //AssignerWithPeriodicWatermarks周期性生成水位线
        SingleOutputStreamOperator<ClickEvent> streamTS = mySource.assignTimestampsAndWatermarks(
                new AssignerWithPeriodicWatermarks<ClickEvent>(){
   
                    private long maxTimestamp = 0L;
                    //延迟
                    private long delay = 0L;
                    @Override
                    //自定义Timestamp提取规则
                    public long extractTimestamp(ClickEvent event, long l) {
   
                        try {
   
                            //放慢处理速度,否则可能只会生成一条水位线
                            Thread.sleep(100L);
                        }
                        catch (Exception ex){
   
                        }
                        //比较当前事件时间和最大时间戳maxTimestamp(并更新)
                        maxTimestamp = Math.max(event.getDateTime(), maxTimestamp);
                        System.out.println("时间:"+event.getDateTime());
                        //提取时间戳
                        return event.getDateTime();
                    }
                    @Nullable
                    @Override
                    public Watermark getCurrentWatermark() {
   
                        
  • 0
    点赞
  • 15
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小程序猿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值