Flink1.11 多并行度watermark测试

最新推荐文章于 2023-07-29 16:25:16 发布
最新推荐文章于 2023-07-29 16:25:16 发布
阅读量767 收藏
点赞数
分类专栏： Flink数据写入数据库 文章标签： flink1.11 watermark 多并行度
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34864753/article/details/109581385
版权

source 单并行度参考 https://blog.csdn.net/xu470438000/article/details/83271123

结论：

###窗口触发条件
1、watermark时间 >= window_end_time
2、在[window_start_time,window_end_time)中有数据存在

###对于设置了allowedLateness(Time.seconds(N))的
1. 第一次触发是在watermark >=window_end_time时
2. 第二次（或多次）触发的条件是watermark < window_end_time + allowedLateness时间内，这个窗口有late数据到达时。

多并行度的情况下，watermark对齐会取所有channel最小的watermark

这里把数据贴出来，省的小伙伴照着敲,并行度为1的watermark上述博客中有，不再赘述

      data                                                                                                   并行度为1下的watermark          多并行度下watermark(并行度=3)
0001,1538359882000                                                                                  1538359872000
0001,1538359886000                                                                                  1538359876000
0001,1538359892000                                                                                  1538359882000                              1538359872000
0001,1538359893000                                                                                  1538359883000                              1538359876000
0001,1538359894000 (并行度为1下第一次触发窗口计算的时间点)            1538359884000                              1538359882000
0001,1538359896000                                                                                                                                          1538359883000
0001,1538359897000 (3并行度下第一次触发窗口计算的时间点)                                                                        1538359884000 
0001,1538359899000
0001,1538359891000
0001,1538359903000

##测试延迟的数据
0001,1538359890000
0001,1538359903000
0001,1538359890000
0001,1538359891000
0001,1538359892000
0001,1538359904000
0001,1538359890000
0001,1538359891000
0001,1538359892000
0001,1538359905000
0001,1538359890000
0001,1538359891000
0001,1538359892000

代码，基本和单source源的一致，改了source源和watermark生成部分

public class StreamingWindowWatermark {
    public static void main(String[] args) throws Exception {

        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        FlinkKafkaConsumer010<String> kafkaConsumer = new FlinkKafkaConsumer010<>("zjf_topic_003", new SimpleStringSchema(), getKafkaProperties());

        SingleOutputStreamOperator<String> text = env.addSource(kafkaConsumer).uid("gateway-source").setParallelism(1);
        text.setParallelism(3);


        //设置使用eventtime，默认是使用processtime
        env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime);

        //设置并行度为1,默认并行度是当前机器的cpu数量
        env.setParallelism(3);

        //连接socket获取输入的数据
//        DataStream<String> text = env.socketTextStream("172.31.120.110", 8999, "\n");

        //数据分割 数据+时间戳
        SingleOutputStreamOperator<Tuple2<String, Long>> input = text.map(new MapFunction<String, Tuple2<String, Long>>() {
            @Override
            public Tuple2<String, Long> map(String value) throws Exception {
                String[] arr = value.split(",");
                return new Tuple2<>(arr[0], Long.parseLong(arr[1]));
            }
        });

        //生成watermark
        SingleOutputStreamOperator<Tuple2<String, Long>> watermarks = input.assignTimestampsAndWatermarks(
                WatermarkStrategy.<Tuple2<String, Long>>forBoundedOutOfOrderness(Duration.ofSeconds(10))
                        .withTimestampAssigner(new SerializableTimestampAssigner<Tuple2<String, Long>>() {
                            @Override
                            public long extractTimestamp(Tuple2<String, Long> element, long recordTimestamp) {

                                return element.f1; //指定EventTime对应的字段
                            }
                        })
        );

        SingleOutputStreamOperator<String> window = watermarks.keyBy(0)
                .window(TumblingEventTimeWindows.of(Time.seconds(3)))//按照消息的EventTime分配窗口，和调用TimeWindow效果一样
//                .allowedLateness(Time.seconds(2))
                .apply(new WindowFunction<Tuple2<String, Long>, String, Tuple, TimeWindow>() {
                    /**
                     * 对window内的数据进行排序，保证数据的顺序
                     * @param tuple
                     * @param window
                     * @param input
                     * @param out
                     * @throws Exception
                     */
                    @Override
                    public void apply(Tuple tuple, TimeWindow window, Iterable<Tuple2<String, Long>> input, Collector<String> out) throws Exception {
                        String key = tuple.toString();
                        List<Long> arrarList = new ArrayList<Long>();

                        Iterator<Tuple2<String, Long>> it = input.iterator();
                        while (it.hasNext()) {
                            Tuple2<String, Long> next = it.next();
                            arrarList.add(next.f1);
                        }
                        Collections.sort(arrarList);
                        SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss.SSS");
                        String result = key + "---------" + arrarList.size() + "-----------" + sdf.format(arrarList.get(0)) + "," + sdf.format(arrarList.get(arrarList.size() - 1))
                                + "," + sdf.format(window.getStart()) + "," + sdf.format(window.getEnd());
                        out.collect(result);
                    }
                });

        window.print();


        env.execute("watermark demo");


    }
    private static Properties getKafkaProperties() {
        Properties properties = new Properties();
        //2020-01-09 切换到vpc环境
//        properties.setProperty("bootstrap.servers", "172.21.164.59:9092,172.21.147.215:9092,172.21.243.86:9092");
        properties.setProperty("bootstrap.servers", "172.31.117.101:9092");
        properties.setProperty("group.id", "flink_01");
        return properties;
    }
}

pom文件：

<dependencies>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-jdbc_2.11</artifactId>
            <version>1.11.2</version>
        </dependency>

        <dependency>
            <groupId>org.apache.commons</groupId>
            <artifactId>commons-dbcp2</artifactId>
            <version>2.1.1</version>
        </dependency>

        <dependency>
            <groupId>com.alibaba.ververica</groupId>
            <artifactId>flink-format-changelog-json</artifactId>
            <version>1.0.0</version>
        </dependency>

        <dependency>
            <groupId>com.alibaba.ververica</groupId>
            <artifactId>flink-connector-mysql-cdc</artifactId>
            <version>1.0.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-cep_${scala.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <!--布隆过滤器的包-->
        <dependency>
            <groupId>com.google.guava</groupId>
            <artifactId>guava</artifactId>
            <version>22.0</version>
        </dependency>

        <!--导入scala的依赖-->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-scala_${scala.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-clients_2.11</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>2.11.8</version>
        </dependency>

        <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-api-scala_2.11</artifactId>
            <version>11.0</version>
        </dependency>
        <!-- log4j-core -->
        <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-core</artifactId>
            <version>2.8.2</version>
        </dependency>
        <!-- log4j-api -->
        <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-api</artifactId>
            <version>2.8.2</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table-api-java-bridge_2.11</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table-api-scala-bridge_2.11</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table-common</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table-planner_2.11</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table-planner-blink_2.11</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-kafka-0.11_2.11</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-elasticsearch7_2.11</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <version>1.18.10</version>
        </dependency>

        <dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka-clients</artifactId>
            <version>2.3.0</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.apache.kafka/kafka -->
        <dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka_2.12</artifactId>
            <version>2.3.0</version>
        </dependency>
        <!-- 导入加载配置文件的依赖-->
        <dependency>
            <groupId>com.typesafe</groupId>
            <artifactId>config</artifactId>
            <version>1.2.1</version>
        </dependency>

        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>1.2.47</version>
        </dependency>

        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>5.1.38</version>
        </dependency>

        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-api</artifactId>
            <version>1.7.25</version>
        </dependency>
        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-simple</artifactId>
            <version>1.7.25</version>
        </dependency>

        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>easyexcel</artifactId>
            <version>2.2.6</version>
        </dependency>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>RELEASE</version>
        </dependency>

        <dependency>
            <groupId>ru.ivi.opensource</groupId>
            <artifactId>flink-clickhouse-sink</artifactId>
            <version>1.1.0</version>
            <exclusions>
                <exclusion>
                    <artifactId>flink-java</artifactId>
                    <groupId>org.apache.flink</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>flink-core</artifactId>
                    <groupId>org.apache.flink</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>flink-hadoop-fs</artifactId>
                    <groupId>org.apache.flink</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>flink-streaming-java_2.11</artifactId>
                    <groupId>org.apache.flink</groupId>
                </exclusion>
            </exclusions>
        </dependency>

        <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-runtime-web_2.11</artifactId>
        <version>${flink.version}</version>
    </dependency>
    </dependencies>

 

me凡
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 7
    评论
专栏目录
【Flink】Flink 多并行度下的 watermark触发机制
九师兄
06-16 2841
1.案例 /** * 测试点：测试多 多并行度下的 watermark触发机制 * 参考：链接：https://juejin.im/post/5bf95810e51d452d705fef33 * * @throws Exception */ @Test public void mainTest1() throws Exception { //定义socket的端口号 int port = 9010; .
大数据_Flink_Java版_并行任务WaterMark传递测试---Flink工作笔记0064
添柴程序猿的专栏
03-24 390
然后我们再来测试一下,之前我们设置的并行度,可以看到都是1对吧, 现在我们把这个env.setParallelism(1)这个删除掉. 现在我们机器的核心是4核心,所以现在并行度就是4了. 然后我们去看看准备的数据,我们去掉,并行度为1的,代码以后,我们再去测试一下看 这里,我们看看,如果,数据来源,是来至两个分区,也就是两个slot,两个任务的话,一个任务, 发送sensor_1这个数据,一个任务发送sensor_6这个数据,这个时候,肯定是没有问题的 对吧. 但是如...
flink多并行数据源下的waterMark触发机制1.pdf
01-22
flink
Flink多并行度与WaterMark
haoren1994的博客
01-06 1471
Flink多并行度与WaterMark
Flink多并行度下watermark生成规则
weixin_41608066的博客
08-18 3232
一、多并加粗样式行度流的watermarks 注意：多并行度的情况下，watermark对齐会取所有channel最小的watermark 二、单个流多并行度 测试代码如下： public class MutiParaWatermarkTest { public static void main(String[] args) throws Exception { Stre...
flink多并行度下的 watermark触发机制
zhou_zhao_xu的博客
03-23 636
案例： package org.example.window; import org.apache.flink.api.common.eventtime.*; import org.apache.flink.streaming.api.TimeCharacteristic; import org.apache.flink.streaming.api.datastream.DataStream; import org.apache.flink.streaming.api.datastream.DataStr
Flink1.11中文文档
01-11
5. 探索 Flink：Flink 提供了多种探索 Flink 的方式，包括 API 文档、示例程序和测试用例等。 6. 部署 Flink：Flink 可以部署在多种环境中，包括 Linux、Windows 和 macOS 等，用户可以根据需要选择合适的部署方式...
FLINK1.11.zip
11-16
首先，FLINK 1.11引入了多个关键改进，包括对状态管理的优化、SQL支持的增强以及与Kafka的集成。状态管理的优化使得在大规模流处理中能更有效地存储和恢复中间计算结果，提高了系统的容错性和稳定性。SQL支持的增强...
flink1.11写入ES7.10完整代码（JAVA程序实现）
04-11
在本文中，我们将深入探讨如何使用Apache Flink 1.11版本将数据写入Elasticsearch (ES) 7.10。Flink是一个强大的流处理和批处理框架，而Elasticsearch则是一个实时的分布式搜索和分析引擎，常用于大数据的存储和检索...
flink多并行数据源下的waterMark触发机制
玩转曼哈顿的博客
01-22 465
1、数据 0001,1538359890000 0001,1538359891000 0001,1538359892000 0001,1538359893000 0001,1538359894000 0001,1538359895000 0001,1538359896000 0001,1538359897000 0001,1538359898000 0001,1538359899000 0001,1538359900000 0001,1538359901000 0001,1538359902000 0001
【Flink】WaterMark与EventTime
小河成大海的博客
11-27 1821
【Flink重难点辨析】WaterMark与EventTime WaterMark Flink中测量事件时间的进度的机制就是watermark(水印). watermark作为数据流的一部分在流动, 并且携带一个时间戳t。 一个Watermark(t)表示在这个流里面事件时间已经到了时间t, 意味着此时, 流中不应该存在这样的数据: 他的时间戳t2<=t (时间比较旧或者等于时间戳)。 1、衡量事件时间的进展。 2、是一个特殊的时间戳，生成之后随着流的流动而向后传递(广播方式)。 3、用来处理数据乱序
Flink多并行度下WaterMark的设计区别
狗不理的博客
12-01 1995
watermark在多并行度情况下的设置
Flink CDC读取增量数据时是多并行度吗？
最新发布
qq_40382400的博客
07-29 530
Flink CDC刚启动时，不是读取的binlog，而是全表扫描，所以可以用多并行度，后面增量同步的时候，就是单并行度。mysql会将一个库的变化数据放到一个binlog，而这个库里面所有的表变化数据都放到这一个binlog。Flink CDC可以同时读取多个表，封装成JSON，像Maxwell一样。Flink CDC读取全量数据时，是多并行度。Flink CDC读取增量数据时，是单并行度。
Flink并行运行情况下watermark的传递机制
weixin_45201661的博客
01-15 1262
今天学习了watermark传递机制，弄清楚了在多并行度情况下watermark的传递机制，特此备忘 此处使用的案例是参考了尚硅谷武老师flink教程中的案例，在此表示感谢 案例源代码 package com.atguigu.apitest.window; import com.atguigu.apitest.beans.SensorReading; import org.apache.commons.collections.IteratorUtils; import org.apache.flink.a
Flink Watermark 机制及总结
cloudbigdata的博客
03-19 2330
阐述 Flink 水印机制的原理和使用方式
【大数据】带你理解并使用flink中的WaterMark机制
Chenftli的博客
04-19 2646
flink 中watermark的window的使用、原理、易错点，新旧api的使用全部内容
Flink Watermark机制
chanyue123的博客
06-23 1676
flink watermark详解
flink watermark 多并行度
04-11
Flink的watermark是指在事件时间处理中，用来表示窗口闭合（即不再接收更多数据）的一个时间戳。它用来保证事件时间窗口的正确处理，因为可能存在一些数据迟到的情况。通过watermark，我们可以确定触发窗口操作的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值