自定义fink source

最新推荐文章于 2024-08-09 16:12:24 发布
最新推荐文章于 2024-08-09 16:12:24 发布
阅读量234 收藏
点赞数 3
分类专栏： Flink 文章标签： flink source
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/litlit023/article/details/138191663
版权
本文介绍了如何自定义Flink Source，包括继承RichSourceFunction、初始化、实现数据生成逻辑及调用cancel方法进行取消操作。参考了阿里云开发者社区的相关资料。
摘要由CSDN通过智能技术生成

实现思路：

（1）继承RichSourceFunction

（2）在open方法里重写初始化内容

（3）在run方法里实现具体的数据生成逻辑，例如从数据库中读取、或者程序自动生成，使用context.collect(str)，来将数据输出

（4）可以调用cancle来取消数据生成

参考资料：

Flink自定义source、自定义sink-阿里云开发者社区

1.31.Flink自定义rocketmq(source/sink)+自定义redis source和sink
涂作权的博客
07-05 4245
1.31.Flink自定义rocketmq(source/sink)+自定义redis+自定义 1.31.1.工程结构 1.31.2.定义pom.xml文件 1.31.3.log4j2.properties 1.31.4.logback.xml 1.31.5.cache.properties 1.31.6.project-config.properties 1.31.7.IssueAcceptSimpleProducer.java 1.31.8.Consumer.java 1.31.9.DefaultTop
Flink自定义source读取clickhouse
qq_43662627的博客
09-17 3360
昨晚想从clickhouse读取数据，愣是没找到clickhouse的flink的读取方法，一百度都是slink的，最后是找到一个clickhouse官方提供的jdbc方法，但还是用游标，好吧凑合着用 官方链接 package redo.source import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment import org.apache.flink.api.scala._ import org.apache.fl
第 11 节 DataStream之自定义source
weixin_39868387的博客
03-07 678
上篇：第 10 节 DataStream之source讲解（java） 代码编写操作 MyNoParalleSource.java package xuwei.custormSource; import org.apache.flink.streaming.api.functions.source.SourceFunction; /** * 自定义实现并行度为1的source * ...
Flink新版Source接口详解
最新发布
bigdatakenan的博客
08-09 787
事实上，这两种情况之间的区别是非常小的：在有界/批处理情况中，枚举器生成固定数量的分片，而且每个分片都必须是有限的。但在无界流的情况下，则无需遵从限制，也就是分片大小可以不是有限的，或者枚举器将不断生成新的分片。是基于同步读取/轮询的 Source 的高级（high-level）API，例如 file source 和 Kafka source 的实现等。核心的 SourceReader API 是完全异步的， 但实际上，大多数 Sources 都会使用阻塞的操作，例如客户端（如。
Flink--Souce(自定义)
MINGZHEFENG的博客
11-28 612
我们可以做自定义的souces 系统已经开发出来，但是没有现成的数据。 另外和kafak是一对，若想从其他地方读取数据，如mysql hive，但是他们 中都是有界的数据，批处理更适合。 sourcefunction 没有具体的实现，需要自己去定义类 SouceFunction[T] 泛型是想要输出的数据的类型 其中 SourceContext [T]上下文中的一个方法 collect [T]方法 需要传入一个参数，然后把参数发出去。 所以这里泛型设置为 SensorReading 然后重写父类方法 定义一
Flink的Source端和Sink端大全
youAreRidiculous的博客
09-23 3905
Flink和各种组件enviromentSourceflink + kafka (flink 消费 kafka 中的数据)SinkFlink + kafka enviroment getExecutionEnvironment       创建一个执行环境，表示当前执行程序的上下文。如果程序是独立调的，则此方法返回本地执行文件；如...
Fink DataStream 常用API
涛博客
12-16 1296
Fink DataStream 常用API一、DataSourceTransformationSink Flink DataStream 常用API主要分为3部分： DataSource：是程序的数据源的输入，可以自定义数据源； transformation：具体的操作，对一个或多个输入进行计算处理； Sink：程序的输出，将Transformation处理之后的数据输出到指定的存储介质中； 一、DataSource 1、来源 DataSource 方法 描述 基于文件 readText
fink介绍
weixin_43319279的博客
01-07 3236
flink 1.Flink概述 1.1.Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。 1.2.Flink与Storm类似，属于事件驱动型实时流系统。 2.Flink特点 2.1.Performance 2.2.性能，高吞吐量，低延迟 2.3.Scalable 2.4.可扩展性，100...
Fink
weixin_30609287的博客
05-13 2291
Fink Flink主页在其顶部展示了该项目的理念：“Apache Flink是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架”。 Apache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink被设计在所有常见的集群环境中运行，以内存执行速度和任意规模来执行计算。 ...
flink 自定义redisSource (list类型数据)
weixin_38430685的博客
10-23 178
自定义flink source，自定义redisSource ,自定义addSource
Flink自定义数据源，模拟无界流随机生成数据(1)
2401_83703797的博客
04-20 450
returns(Types.TUPLE(Types.STRING, Types.INT))//二元组的数据类型。经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新**
flink sql 知其所以然（一）| source\sink 原理
qq_34608620的博客
08-15 1793
感谢您的关注  +  点赞 + 再看，对博主的肯定，会督促博主持续的输出更多的优质实战内容！！！1.序篇-本文结构本文从以下五个小节介绍 flink sql source\sink\format 的概念、原理。背景篇-关于 sql定义篇-sql source、sink实战篇-sql source、sink 的用法原理剖析篇-sql source、sink 是怎么跑起来的总结与展望篇2.背景篇-关于 sql关于 flink sql 的定位。先聊聊使用 sql 的原因，总结来说就是一切从简。
Flink 可视化开发平台--Streamx部署
litlit023的专栏
01-24 4732
目录 1. 下载streamx安装包 2. 数据库准备 3. 启动streamx 4. 参考资料 1. 下载streamx安装包 Release v1.2.0 release · streamxhub/streamx · GitHub 上传服务器/work/flink/streamx_dir并解压 tar -zxvf streamx-console-service-1.2.1-bin.tar.gz 2. 数据库准备 cd /work/flink/streamx_dir/strea
Flink常用的配置参数总结
litlit023的专栏
12-20 3754
1. rest.port 改参数默认值是8081， #rest.port: 8081 该配置是 rest client连接时的端口，如果rest.bind-port没有指定特定的端口值，那么该端口默认是8081；如果rest.bin-port被设置了特定的值，则该rest.port=rest.bin-port //flink-conf.yaml中对该参数的解释 # The port to which the REST client connects to. If rest.bind-port h
Flink-SQL管理工具flink-streaming-platform-web部署
litlit023的专栏
02-09 3276
根据下列文章，即可成功启动，这里偷懒直接参考下面这篇就好 https://blog.csdn.net/xinxin6193/article/details/112347736
Flink on yarn模式部署
litlit023的专栏
02-02 2970
目录 1. 基于docker部署cdh 2. 遇到的异常 2.1 flink下缺少hadoop相关依赖 2.2 jdk7造成的错误 3. 启动flink on yarn模式 1. 基于docker部署cdh 基于Docker搭建CDH单机单节点集群_litlit023的专栏-CSDN博客 2. 遇到的异常 2.1 flink下缺少hadoop相关依赖 基于docker 部署cdn后，启动flink on yarn模式，报了以下错误 ./bin/yarn-session.sh -n
flink-streaming-platform-web 源码解读
litlit023的专栏
02-28 2527
1. 任务列表模块分析 任务列表模块如下图所示，其中新增和修改任务操作，对应到 job_config表里面插入、更新一条记录。在插入、更新时对任务配置进行检测。 1.0 页面交互部分代码结构 0、与页面交互的Controller API，代码位于： -> flink-streaming-web 模块 -> controller包 -> api 包里面 1.1 新增任务流程 -> addPage.ft...
Flink Catalog介绍
litlit023的专栏
03-17 2402
1. Flink Catalog资料总结 Catalog 就是元数据管理中心，其中元数据包括数据库、表、表结构等信息。 Flink 的 Catalog 相关代码定义在 catalog.java 文件中，是一个 interface，如下。 /** * This interface is responsible for reading and writing metadata such as database/table/views/UDFs * from a registered catal...
基于Clickhouse的实时数仓
litlit023的专栏
12-13 1477
这里先直接上图，后续再完善内容
macOS安装fink
05-13
Fink 是一个在 macOS 上安装和管理 Unix 软件包的工具。以下是安装 Fink 的步骤： 1. 打开终端应用程序。 2. 确保您的 macOS 系统已经安装了 Xcode Command Line Tools。如果您还没有安装它，请在终端中输入以下命令： ``` xcode-select --install ``` 3. 下载 Fink 安装程序。您可以从 Fink 官方网站（https://www.finkproject.org/download/index.php）下载最新版本的 Fink。 4. 打开下载的 Fink 安装程序，并按照提示进行安装。安装过程中需要输入管理员密码。 5. 安装完成后，在终端中输入以下命令初始化 Fink： ``` source /sw/bin/init.sh ``` 6. 然后使用以下命令更新 Fink： ``` fink selfupdate ``` 7. 现在，您可以使用 Fink 安装所需的软件包。例如，如果您想安装 Python，可以使用以下命令： ``` fink install python3 ``` 这将安装 Python 3.x 版本及其相关依赖项。 注意：Fink 的软件包是由社区维护的，可能与官方软件包存在差异。在安装软件包之前，请确保您已经了解了它的来源和可信度。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值