Flink自定义Source：SourceFunction、ParallelSourceFunction、RichParallelSourceFunction

最新推荐文章于 2024-03-08 10:43:39 发布
最新推荐文章于 2024-03-08 10:43:39 发布
阅读量6.4k 收藏 5
点赞数 1
分类专栏： Flink 文章标签： Flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/greenplum_xiaofan/article/details/99593624
版权

我们这里讲这三类自定义Source
SourceFunction、ParallelSourceFunction、RichParallelSourceFunction
先定义一个Class类，分别集成上面三个接口，实现里面方法

package com.ruozedata.flink

import org.apache.flink.streaming.api.functions.source.SourceFunction

//依次extends成SourceFunction、ParallelSourceFunction、RichParallelSourceFunction
class CustomerSource extends SourceFunction[Long]{
   

  var count=0L
  var isRunning=true
  override def run(ctx: SourceFunction
最低0.47元/天 解锁文章
11号车厢
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
Flink学习6---DataStream之DataSource API (五）RichParallelSourceFunction自定义多并行DataSource
zhuzuwei的博客
07-05 1447
自定义多并行DataSource必须继承 RichParallelSourceFunction 类，并重写run()和cancel()方法。 import org.apache.flink.api.java.tuple.Tuple2; import org.apache.flink.streaming.api.functions.source.RichParallelSourceFunction; import java.io.RandomAccessFile; // 这里的泛型Tuple2是该sou
Flink 自定义source 读取redis 实现 RichParallelSourceFunction
qq_42185491的博客
07-07 2369
Flink自定义source 需要实现SourceFunction（并行度1） ，ParallelSourceFunction（多并行），RichParallelSourceFunction（多并行）。这里使用的RichParallelSourceFunction（多并行）。 代码实现： public class ReidsSourceFunctionRm7896Top0 extends RichParallelSourceFunction<String> { private .
Flink用RichParallelSourceFunction连接mysql
weixin_44048908的博客
02-25 1669
import org.apache.flink.core.fs.Path import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment import org.slf4j.LoggerFactory import scala.collection.mutable class SouceParaMysql...
Flink算子之RichParallelSourceFunction、RichSourceFunction因数据源不同，存在的差异
为一个人走几座城
03-12 2726
两套代码流程，完全一样。但是在读取到同样的数据后，数据返回给addSource算子后，通过transform算子后，继承RichSourceFunction的消息会出现丢失。 但是是区分数据源的，MySQL就没有类似的情况，但是Elasticsearch就会出现。 public class ElasticSource extends RichParallelSourceFunction<String>/RichSourceFunction { @Override pub.
聊聊flink的RichParallelSourceFunction
weixin_34318272的博客
11-28 1177
序 本文主要研究一下flink的RichParallelSourceFunction RichParallelSourceFunction /** * Base class for implementing a parallel data source. Upon execution, the runtime will * execu...
Flink1.12 -- 流批一体API
erainm
03-05 1285
1. 流处理相关概念 1.1 数据的时效性  日常工作中，我们一般会先把数据存储在表，然后对表的数据进行加工、分析。既然先存储在表中，那就会涉及到时效性概念。  如果我们处理以年，月为单位的级别的数据处理，进行统计分析，个性化推荐，那么数据的的最新日期离当前有几个甚至上月都没有问题。但是如果我们处理的是以天为级别，或者一小时甚至更小粒度的数据处理，那么就要求数据的时效性更高了。比如：对网站的实时监控、对异常日志的监控，这些场景需要工作人员立即响应，这样的场景下，传统的统一收集数据，再存到数据库中，再取出
第三篇|Flink DataStream API编程指南
wr_java的博客
04-01 300
本文首先实现了自定义MySQL Source，然后基于MySql 的Source进行了一系列的算子操作，并对常见的算子操作进行详细剖析，最后实现了一个自定义MySQL Sink，并对RichFunction进行了解释。代码地址作者：大数据技术与数仓链接：https://juejin.cn/post/6857499033612845063来源：稀土掘金著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
Flink官网实例：基于DataStream API 实现欺诈检测，完整实现
02-07
3. **自定义数据源**：Flink 允许开发者自定义数据源（SourceFunction），以适应各种数据输入方式。在欺诈检测场景中，可能需要从 Kafka、Kinesis 或其他消息系统接收实时交易数据。 4. **IDEA 开发环境**：...
flink13.1 操作clickhouse 的代码实现 包括自定义 source 自定义 sink
08-28
flink13 操作clickhouse 的代码实现 包括source sink 的代码实现直接mavne clean install 放入到 flink lib 目录下 然后直接运行就可以 用flink sql 往clickhouse 中 的 clickhouse inck source 和 sink sql 直接...
自定义Flink SourceFunction定时读取数据库 包括实现思路说明和java代码
01-11
本主题将探讨如何自定义 Flink `SourceFunction` 定时从数据库中读取数据，这一方法对于实时监控、数据分析等场景尤其有用。本文将深入讲解实现思路并提供 Java 代码示例，确保对各种关系型数据库通用。 1. **Flink...
FlinkSQL实战：HBase的结合应用
02-23
而当下FlinkSQL的火热程度不用多说，FlinkSQL也为HBase提供了connector，因此HBase与FlinkSQL的结合非常有必要实践实践。当然，本文假设用户有一定的HBase知识基础，不会详细去介绍HBase的架构和原理，本文着重介绍...
5-4自定义数据源方式的三种方式
热门推荐
简单记录生活、学习
10-02 1万+
Sources are where your program reads its input from. You can attach a source to your program by usingStreamExecutionEnvironment.addSource(sourceFunction) Custom: addSource- Attach a new source function. For example, to read from Apache Kafka you can us..
4、如何在flink任务中读取外部数据源（DataStream API）
向热爱自己一样，热爱这个世界。
03-31 2423
用一个例子告诉你 怎样在Flink DataStream API 中读取数据源(Scala API)
flink学习day03：flink datastream 开发
黑马程序员官方博客
02-20 472
flink的stream程序都是通过addSource(sourcefunction)来添加数据源，我们可以自定义数据源，通过继承ParallelSourceFunction RichParallelSourceFunction 来实现自己的数据源。参考代码/*自定义数据源，练习 生成订单数据*///订单信息(订单ID、用户ID、订单金额、时间戳)/*1. 创建订单样例类2. 获取流处理环境3. 创建自定义数据源- 循环1000次- 随机构建订单信息- 上下文收集数据。
flink source算子并行度问题
最新发布
weixin_50799165的博客
03-08 420
从代码第六行可以看出，此处判断是否属于ParallelSourceFunction类，如果不属于则只能设置并行度为1。source算子比较特殊，在普通算子和实现了source funtion接口的并行度只能被设置为1。如果想要改变source的算子则会抛出异常，此时如果想要能够设置source的算子并行度，需要实现。以下为flink 1.15版本的源码。而这里可以看出一切都决定于参数。，这个参数是在我们调用。
flink从入门到放弃之入门篇(二)-Source操作
进击吧大数据的博客
10-21 1728
​1.Flink预定义Source操作 在flink中，source主要负责数据的读取。 flink预定义的source中又分为「并行source(主要实现ParallelSourceFunction接口)「和」非并行source(主要实现了SourceFunction接口)」 附上官网相关的说明： you can always write your own custom sources by implementing theSourceFunctionfor non-parallel sour..
Flink之DataSet 的Join、Cross使用
11号车厢
08-14 1332
Join 默认就是内连接，还有leftOuterJoin，rightOuterJoin，fullOuterJoin cross 笛卡尔积 package com.ruozedata.flink import org.apache.flink.api.scala.ExecutionEnvironment import org.apache.flink.api.scala._ import scal...
Flink入门介绍和安装部署、第一个Flink程序WC
11号车厢
08-13 304
文章目录1、Flink介绍1.1 Flink是什么1.2 Flink部署在什么地方1.3 Flink编程模型1.4 程序和数据流2、Flink搭建3、Maven依赖，写第一个Flink程序WC 1、Flink介绍 1.1 Flink是什么 Apache官网： https://flink.apache.org/ Apache Flink® - Stateful Computations over D...
Flink自定义source function用线程池产生数据流
05-24
可以使用 Java 中的线程池来实现 Flink 的自定义 source function 产生数据流。具体步骤如下： 1. 实现一个实现了 Runnable 接口的数据生成类，该类可以在 run 方法中产生数据，并将数据发送到 Flink 的 source context 中。 ```java public class DataSource implements Runnable { private final SourceContext<String> context; private final int delay; public DataSource(SourceContext<String> context, int delay) { this.context = context; this.delay = delay; } @Override public void run() { while (true) { // 产生数据 String data = "data-" + UUID.randomUUID().toString(); // 发送数据到 Flink 的 source context 中 context.collect(data); // 休眠指定时间 try { Thread.sleep(delay); } catch (InterruptedException e) { // ignore } } } } ``` 2. 在自定义 source function 中创建线程池，并在 open 方法中启动线程池，每个线程都运行数据生成类的实例。 ```java public class ThreadPoolSourceFunction extends RichSourceFunction<String> { private transient ExecutorService executorService; @Override public void open(Configuration parameters) throws Exception { super.open(parameters); // 创建线程池 executorService = Executors.newFixedThreadPool(5); // 启动线程池 for (int i = 0; i < 5; i++) { executorService.submit(new DataSource(getSourceContext(), 1000)); } } @Override public void run(SourceContext<String> ctx) throws Exception { // do nothing } @Override public void cancel() { // do nothing } @Override public void close() throws Exception { super.close(); // 关闭线程池 executorService.shutdownNow(); } } ``` 在上面的例子中，我们创建了一个固定大小为 5 的线程池，并将数据生成类的实例提交到线程池中运行。每个数据生成类实例都会在 run 方法中产生数据，并将数据发送到 Flink 的 source context 中。由于每个数据生成类实例都是在一个独立的线程中运行，因此可以实现并行产生数据的效果。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值