Flink CDC Standalone模式部署及Flink CDC Job提交

ErbaoLiu

已于 2024-08-23 10:26:05 修改

阅读量347

点赞数

分类专栏： Flink 文章标签： CDC Flink CDC MySQL Doris

于 2024-08-23 09:57:02 首次发布

本文链接：https://blog.csdn.net/L_15156024189/article/details/141394718

版权

Flink 专栏收录该内容

28 篇文章 3 订阅 ¥9.90 ¥99.00

订阅专栏

独立模式（Standalone mode）是Flink最简单的部署模式。本文将介绍如何下载、安装和运行Flink CDC。

Flink CDC是基于Flink开发的一个流式数据集成工具。所以按照Flink CDC需要事先按照Flink。具体安装请参见《Linux安装Flink》。

Flink CDC和Fink的版本兼容性如下：

Flink® CDC Version	Flink® Version
1.0.0	1.11.*
1.1.0

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

ErbaoLiu

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
打赏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

订阅专栏

2、Flink CDC环境搭建

02-13

1115

本文从FlinkCDC介绍能支持哪些数据库同步开始，以mysql库为例，介绍了要同步mysql库，首先如何搭建mysql环境，如何安装Flink集群，在Flink集群中如何引入CDC的支持包，实现了FlinkCDC环境的完全实现。最后以先前搭建的mysql为源库表，用FlinkCDC建立目标库表，实现二者同步的标准实例，让大家对FlinkCDC实现原理作了生动的演示。

Flink CDC 项目教程

热门推荐

weixin_43914798的博客

11-16

2万+

Flink_CDC搭建及简单使用 1.CDC简介： CDC （Change Data Capture），在广义的概念上，只要能捕获数据变更的技术，都可以称为 CDC 。但通常我们说的CDC 技术主要面向数据库（包括常见的mysql,Oracle, MongoDB等）的变更，是一种用于捕获数据库中数据变更的技术。目前市面上的CDC技术非常多,常见的主要包括Flink CDC,DataX,Canal,Sqoop,Kettle,Oracle Goldengate,Debezi

FlinkCDC部署

ArYe

12-10

2758

FLINK-CDC FlinkCDC

FLink-CDC部署（S4:flink-cdc配置）

wengad的博客

03-26

1600

如果没什么异常，那么可以登录doris里面，看app_db下有新生成了表，且已经将数据同步过来，接着可以在mysql中做数据更新、删除、插入等操作，会发现，数据会同步更新到doris中。其中table.create.properties.replication_num设置成1，默认是3，因为这里的doris BE只有一个节点。在flink-cdc下执行如下，提交CDC任务，其中的cdcjob.yaml即为CDC的配置文件，可以使用绝对路径。具体的日志，也可以在flink的log目录下去查看。

[基础架构] [Flink] Flink/Flink-CDC的部署和配置

OxYGC

07-05

8501

Flink 以及 Flink -CDC 部署与配置

Fink CDC数据同步（一）环境部署

不才伟才的博客

02-03

3223

Apache Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。Flink CDC 是 Apache Flink 的一组源连接器，基于数据库日志的 Change Data Caputre 技术，实现了全量和增量的一体化读取能力，并借助 Flink 优秀的管道能力和丰富的上下游生态，支持捕获多种数据库的变更，并将这些变更实时同步到下游存储。

Flink CDC：基于 Apache Flink 的流式数据集成框架

Ververica的博客

07-12

1910

Flink CDC 最早的发展就始于 GitHub 开源社区。自 2020 年 7 月开始，项目在 Ververica 公司的 GitHub 仓库下以 Apache 2.0 协议开放源代码。并提供了从主流 MySQL 和 PG SQL 数据库中捕获变化数据的能力。2.0 版本引入了运行更高效、更稳定、支持故障恢复的增量快照框架，并且丰富了源数据库支持范围，能够从 Oracle、MongoDB 实时抽取数据。

Flink cdc3

2401_84182578的博客

04-27

804

启动成功的话，可以在访问到 Flink Web UI，如下所示：多次执行 start-cluster.sh 可以拉起多个 TaskManager，保证Total Task Slots >= 2, 不然提交任务会有资源不足异常，比如我这里执行了3次。或者是修改资源配置。

Flink CDC和FlinkX与数据湖

JustinMars的博客

02-22

2272

数据传输工具FlinkX和Flink CDC是目前最主流的工具，其中,Flink CDC 2.0更加友好地支持数据湖

Flink 单机部署

qq_56870570的博客

03-18

3783

Flink 支持使用多种部署模式来满足不同规模应用的需求，常见的有单机模式，Standalone Cluster 模式，同时 Flink 也支持部署在其他第三方平台上，如 YARN，Mesos，Docker，Kubernetes 等。以下主要介绍其单机模式。单机模式是一种开箱即用的模式，可以在单台服务器上运行，适用于日常的开发和调试。具体操作步骤如下：安装部署 1. 前置条件 Flink 的运行依赖 JAVA 环境，故需要预先安装好 JDK。 2. 下载 & 解压 &a...

flink独立集群搭建

belialxing的专栏

01-30

1147

说明：搭建flink独立集群，可以下载flink的任意版本(官方说的) 官网：https://ci.apache.org/projects/flink/flink-docs-release-1.7/ 官网文档：https://ci.apache.org/projects/flink/flink-docs-release-1.7/ops/deployment/cluster_setup.html...

Flink 独立集群部署

LANSHANZHUYAO的专栏

03-06

856

本文介绍了如何以 StandAlone 的方式部署 Flink集群并运行Flink程序。

FLink-CDC部署（S1:Doris部署）

wengad的博客

03-26

689

这里使用flink-cdc 3.0.1+flink 1.8.1+doris 2.1.0+mysql来实现，从mysql同步到doris。flink不要使用1.9.X，因为1.8.x的配置和1.9.x的配置不一样，导致flink-cdc无法兼容。

FLink-CDC部署（S3:Flink部署）

wengad的博客

03-26

582

在普通用户下(这里用datatech,HOME=/home/datatech)解压(直接在$HOME下解压)，解压后生成flink-1.18.1 目录，做一个软链接，方便后续换版本，同时也可以少输入一些内容，根据习惯，也可以不做。直接到https://flink.apache.org去下载编译好的tar包即可，这里用的是1.8.1的版本。包名 flink-1.18.1-bin-scala_2.12.tgz。可以修改下JobManager和TaskManager的内存。日志在flink/log下。

基于python的人脸识别设计目标

05-11

基于Python的人脸识别设计目标包括： 1. 实现人脸检测：利用Python中的OpenCV库和Haar Cascade分类器，实现对图像或视频中的人脸进行检测。 2. 人脸识别：通过Python中的人脸识别库（如face_recognition）实现对人脸的识别，可以通过训练模型，实现对不同人脸的识别。 3. 实时人脸识别：将人脸识别功能应用到实时视频流中，实现对视频中出现的人脸进行实时识别。 4. 人脸表情识别：通过训练模型，实现对人脸表情的识别，可以应用于情感分析等领域。 5. 视频分析：通过对视频中人脸的检测和识别，实现对视频的分析和处理，如人脸跟踪、人脸关键点检测等。 6. 安防应用：基于人脸识别技术的安防系统，可以实现对人员进出、异常行为等的识别和报警，提高安全性。 7. 人机交互：通过人脸识别技术，实现对用户的识别和交互，如人脸解锁、人脸支付等。