Flink自定义一个简单source

最新推荐文章于 2024-08-09 16:12:24 发布

「已注销」

最新推荐文章于 2024-08-09 16:12:24 发布

阅读量5k

点赞数 1

分类专栏： flink 文章标签： flink source

本文链接：https://blog.csdn.net/whr_yy/article/details/79869741

版权

该博客演示了如何在Flink中自定义一个SourceFunction，不断生成包含随机数的字符串，并进行简单的数据转换和窗口操作。通过设置SourceFunction，每秒收集一次随机数，然后将其映射为Tuple2，按key分组并设置5秒时间窗口，最后应用自定义的WindowFunction处理窗口内的数据。

摘要由CSDN通过智能技术生成

import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.api.java.tuple.Tuple;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.datastream.WindowedStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.source.SourceFunction;
import org.apache.flink.streaming.api.functions.windowing.WindowFunction;
import org.apache.flink.streaming.api.windowing.time.Time;
import org.apache.flink.streaming.api.windowing.windows.TimeWindow;
import org.apache.flink.util.Collector;
import org.apache.log4j.Level;
import org.apache.log4j.Logger;
import org.apache.lucene.analysis.CachingTokenFilter;

import java.util.Random;

public class MySelfSourceTest01 {
    public static void main(String[] ar