实时流处理框架flink所用flink-cdc数据源连接器

已于 2024-04-10 16:37:51 修改
阅读量138 收藏
点赞数 1
文章标签： flink 大数据
于 2024-04-10 16:36:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010713726/article/details/137602192
版权

连接lhttps://nightlies.apache.org/flink/flink-cdc-docs-master/zh/docs/connectors/cdc-connectors/overview/

该地址为官方地址，包含了常用的数据源连接使用：

mongodb-cdc MongoDB Driver: 4.3.4
mysql-cdc JDBC Driver: 8.0.28
oceanbase-cdc OceanBase Driver: 2.4.x
oracle-cdc Oracle Driver: 19.3.0.0
postgres-cdc JDBC Driver: 42.5.1
sqlserver-cdc JDBC Driver: 9.4.1.jre8
tidb-cdc
  • TiDB: 5.1.x, 5.2.x, 5.3.x, 5.4.x, 6.0.0
JDBC Driver: 8.0.27
db2-cdc Db2 Driver: 11.5.0.0
vitess-cdc MySql JDBC Driver: 8.0.26

备用。

茶水间的饭桶
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
工作流引擎数据库表设计.docx
01-08
工作流引擎数据库表设计全文共3页，当前为第1页。工作流引擎数据库表设计全文共3页，当前为第1页。工作流引擎数据库设计 工作流引擎数据库表设计全文共3页，当前为第1页。 工作流引擎数据库表设计全文共3页，当前为第1页。 概述 基于打造一个灵活、高效、轻量级的工作流引擎，暂时不考虑功能的完备和复杂，只是实现其中必不可少的功能和条件。主要考虑以下三个方面的内容： 流程定义：工作流中的流程极其相关活动的定义和模型数据搭建 运行调度控制：执行工作流过程中流程活动任务分配、调度控制 运行阶段的人机交互：实现各种活动执行过程中用户与IT应用工具之间的交互 数据库定义 流程定义 主要是跟流程模型定义相关的数据表，主要包括流程模型定义表（WF_FlowTemplate）、流程步骤模型定义表（WF_StepTemplate）、流程链路表（WF_FlowLink）、流程类型表（WF_FlowType） WF_FlowType 字段 类型 描述 备注 FlowTypeID int 流程类型ID 标示 not null FlowTypeName nvarchar(50) 流程分类名称 Description nvarchar(200) 流程类别描述 WF_FlowTemplate 字段 类型 描述 备注 FlowID int 流程ID 标示 not null FlowName nvarchar(50) 流程名称 FlowTypeID int 流程类型编码 Manager nvarchar(50) 流程实例管理者 CreateUserID int 创建人ID CreateDate Date 创建时间 ModifyUserID int 最后修改人ID ModifyDate Date 最后修改时间 Version int 版本 WF_StepTemplate 工作流引擎数据库表设计全文共3页，当前为第2页。工作流引擎数据库表设计全文共3页，当前为第2页。字段 工作流引擎数据库表设计全文共3页，当前为第2页。 工作流引擎数据库表设计全文共3页，当前为第2页。 类型 描述 备注 StepID int 步骤ID 标示 not null StepName nvarchar(100) 步骤名称 FlowID int 流程ID FormURL nvarchar(200) 表单URL PositionX float X坐标 PositionY Float Y坐标 LimitTime int 步骤时限 SubFlowID int 子流程ID Description nvarchar(200) 步骤描述 WF_FlowLink 字段 类型 描述 备注 FlowLinkID int 流程链路ID 标示 not null FlowID nvarchar(50) 流程ID FromStep int 前一步骤ID ToStep Int 后一步骤ID Action nvarchar(200) 流转条件行为 Description nvarchar(200) 流转路径描述 Expression nvarchar(200) 条件表达式 流程调度 针对运行中的流程实例以及活动实例进行管理和调度，主要包括流程实例表（WF_FlowInstance）、步骤实例表（WF_StepInstance） WF_FlowInstance 字段 类型 描述 备注 FlowInstanceID int 流程实例ID 标示 not null FlowInstanceName nvarchar(100) 流程实例名称 FlowID int 流程ID CreateUserID int 创建人ID CreateDate Date 创建时间 FinishDate Date 完成时间 Status int 流程实例状态 WF_StepInstance 字段 类型 描述 备注 StepInstanceID int 步骤实例ID 标示 not null FlowInstanceID int 流程实例ID StepID int 步骤ID 工作流引擎数据库表设计全文共3页，当前为第3页。工作流引擎数据库表设计全文共3页，当前为第3页。StartDate 工作流引擎数据库表设计全文共3页，当前为第3页。 工作流引擎数据库表设计全文共3页，当前为第3页。 datetime 开始时间 FinishDate datetime 完成时间 Status int 步骤状态 TrackRemark nvarchar(200) 轨迹备注 任务管理 流程实例运行过程中产生的工作项任务，主要包括任务列表（WF_TaskList）、消息列表（WF_MessageList） WF_TaskList 字段 类型 描述 备注 TaskID int 步骤实例
flink-connector-postgres-cdc-1.4.0.jar
04-21
flink-connector-postgres-cdc-1.4.0.jar
flink-cdc-connectors：更改Apache Flink的数据捕获（CDC）连接器
02-05
Flink CDC连接器 Flink CDC连接器是Apache Flink的一组源连接器，使用更改数据捕获（CDC）从不同的数据库中提取更改。 Flink CDC连接器将Debezium集成为引擎来捕获数据更改。 因此，它可以充分利用Debezium的功能。 进一步了解什么是 。 本自述文件旨在简要介绍Flink CDC连接器的核心功能。 有关详细文档，请参阅。 支持（经过测试）的连接器 数据库 版 MySQL 数据库：5.7，8.0.x JDBC驱动程序：8.0.16 PostgreSQL 数据库：9.6，10，11，12 JDBC驱动程序：42.2.12 产品特点 支持读取数据库快
【FLINK】Kafka数据源通过Flink-cdc进行实时数据同步
weixin_37788200的博客
06-11 2295
通过flink-cdc实现kafka数据源的数据实时同步到目标数据库，并对目标库进行增删改操作
Flink CDC 3.0 正式发布，详细解读新一代实时数据集成框架
Ververica的博客
12-18 3890
01FlinkCDC概述Flink CDC 是基于数据库日志 CDC（Change Data Capture）技术的实时数据集成框架，支持了全增量一体化、无锁读取、并行读取、表结构变更自动同步、分布式架构等高级特性。配合 Flink 优秀的管道能力和丰富的上下游生态，Flink CDC 可以高效实现海量数据的实时集成。Flink CDC 社区发展迅速，在开源的三年时间里，社区已经吸引了 111...
基于flink-cdc实现监控数据源的实时变更数据捕获
06-06
cdc技术分析文章，基于flink-cdc做监控数据源的实时变更数据捕获。该文从基础定义、使用场景、分析、实际使用流程、源码分析、常见问题及解决方式等几个方向讲解了这个技术栈。如果公司有要使用搜索方案，涉及到业务...
flink-sql-connector-mysql-cdc-2.3.0.jar
07-05
flink同步mysql数据库所用包
flink-connector-mysql-cdc-2.2
03-25
Flink CDC Connectors 2.2源码修改，适配Flink 1.14.2（MySQL）
hibernate.PropertyAccessException: Null value was assigned to a property of primitive type
weixin_30367543的博客
04-04 100
日志:[WARN-2016/07/26/18/:45/:52]ProcessEngineServiceImpl.(257) - 审批流程log日志——submitProcess方法：提交人userId：3333333349，TaskId：245959，ProcInstId：null，WfInstaceId：16583386853，当前时间：Tue Jul 26 18:45:52 CST 2016 ...
knockoutJs在项目中的使用
李欢欢的博客
01-23 3431
最早接触到knockoutJs应该是2017年初了。彼时只是了解了一下大概信息，写了一些简单的例子，没有怎么实际使用过。现在有机会再项目中实战一下，记录一下。 1.项目架构 前端：bootstrap和layer负责页面展示，knockoutJs负责mvvm，引入jquery.validate做表单校验，还有一些其他不怎么重要的，这里没有涉及到，不介绍 后端：ssm框架
servlet查询所有消息"List<Message>",并跳转到页面"messageList.jsp"进行显示
heymysweetheart的专栏
07-30 1178
@Override protected void doPost(HttpServletRequest req, HttpServletResponse resp) throws ServletException, IOException { MessageDao messageDao = new MessageDaoImpl(); try {
flink-connector-mysql-cdc
weixin_37536020的博客
09-19 818
FlinkCDC是一个实现CDC(Change Data Capture)思想的数据同步工具。借助于Flink CDC Connector ，它监听数据库的二进制日志文件，来获取数据库变更的数据，以此实现数据同步。
Flink checkpoint 源码分析- Checkpoint barrier 传递源码分析
TONIYH的博客
04-30 910
在上一篇的博客里，大致介绍了flink checkpoint中的触发的大体流程，现在介绍一下触发之后下游的算子是如何做snapshot。
pyflink filter
zhaoyangjian724的专栏
04-30 630
import reimport sysreturn {passdict1 = {}!!
Debezium日常分享系列之：Debezium 2.7.0.Alpha1发布
zhengzaifeidelushang的博客
04-29 785
虽然 Oracle 建议用户避免使用基于 RAW 的列，但出于向后兼容性的原因，这些列仍广泛用于标准 Oracle 表中。但在某些业务用例中，继续使用 RAW 列而不是其他数据类型是有意义的。Debezium 2.7 引入了一个专门针对 Oracle 的新自定义转换器，称为 RawToStringConverter。此自定义转换器旨在允许您使用 STRING 架构类型快速将 RAW 列的字节数组内容转换为基于字符串的字段。
ruoyi漏洞总结
qq_59468567的博客
05-03 667
baseurl 就有了，有的是全的 url，大多数是只给个 baseurl：prod-api，这类。js 下面有个 app.xxxxxx(一些个字母数字).js，直接里面搜。如果页面访问显示不正常，可添加默认访问路径尝试是否显示正常。若依有个特点，密码可能在前台直接显示，点击并能够成功登录。监控中存在大量接口路径，可通过未授权获取更多敏感信息在。图标和登录页面及验证码处的样式识别出若依。认证失败，无法访问系统资源。进行替换实现登录系统。数据库存在未授权访问。
【翻译】Elasticsearch-索引模块
qq_49444793的博客
04-30 1109
索引块限制对指定的索引的可用的操作类型（就是指对该索引能进行什么操作）。这些块有不同的风格，可以阻止写、读或元数据操作。块可以通过动态索引设置来设置/移除，也可以通过专用API添加，这也可以确保写入块一旦成功返回用户，所有索引分片都能正确地计算该块，例如，在添加写块后，所有对索引进行中的写入会完成。
《崇明新闻》报道智慧岛大数据云计算中心
YUNDUANNET的博客
04-29 709
4月22日，《崇明新闻》报道了云端股份目前在建的上海智慧岛大数据云计算中心，采访了新基建项目CEO张海东，向其了解目前云计算中心的项目概况以及建设进度。
大数据技术概述_4.大数据的应用领域
最新发布
huaqianzkh的专栏
05-06 500
主要介绍大数据在制造业、服务业、交通行业、医疗行业的应用。
flink-connector-sqlserver-cdc
08-05
flink-connector-sqlserver-cdc是一个用于实时数据处理的Flink连接器，用于连接和读取Microsoft SQL Server Change Data Capture（CDC）源中的数据。 SQL Server CDC是一种数据捕获技术，可以将数据库中的变更捕获到特定的日志中。flink-connector-sqlserver-cdc可以利用这些变更日志来实时地获取和处理SQL Server数据库中的数据变动。 使用flink-connector-sqlserver-cdc，我们可以建立一个Flink作业来监听并处理SQL Server数据库中的变动。当数据库中的数据发生变化时，CDC日志将被触发和捕获，并通过flink-connector-sqlserver-cdc进行读取和处理。这个连接器可以将数据以流的形式传递给Flink作业进行实时的数据处理或者将数据写入到其他的存储系统中。 flink-connector-sqlserver-cdc提供了一些配置选项，可以设置要连接的SQL Server实例的地址、端口、数据库名称、表名等信息。在Flink作业的代码中，我们可以通过使用flink-connector-sqlserver-cdc提供的API接口来定义和管理CDC源的连接和读取操作。 总之，flink-connector-sqlserver-cdc是一个用于连接和读取SQL Server Change Data Capture源的Flink连接器。它可以帮助我们实时地获取SQL Server数据库中的数据变动，并通过Flink作业进行实时的数据处理。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值