flink 自定义多并行度的source源

最新推荐文章于 2024-11-22 08:42:55 发布

微风凉

最新推荐文章于 2024-11-22 08:42:55 发布

阅读量4.7k

点赞数

分类专栏： Flink

本文链接：https://blog.csdn.net/weixin_39150719/article/details/101029734

版权

自己定义一个多并行度的source，需要自己实现一个ParallelSourceFunction接口

    import org.apache.flink.streaming.api.functions.source.ParallelSourceFunction;
        /**
         *  interface ParallelSourceFunction<OUT> extends SourceFunction<OUT> 
         */
        public class MyParalleSource implements ParallelSourceFunction <Long>{
   
            private Long count=1l;
            private boolean isFlag=true;
        
        /**
         * 主要的方法：
         * 启动一个source源
         * 大部分情况下，都需要在这个run方法中实现一个循环，这样可以循环产生数据了
         *
         * @param sct
         * @throws Exception
         */
        public void run(SourceContext<Long> sct) throws Exception {
   
            while(isFlag){
   
                sct.collect(count);
                count++;