大数据 Flink SQL CDC 实时数据整库同步 实时宽表 实时计算 流批一体

已于 2024-08-16 11:56:48 修改
阅读量5.8k 收藏 36
点赞数 3
分类专栏： 大数据 文章标签： 架构 big data flink
于 2019-12-15 10:47:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fzy629442466/article/details/103546487
版权
介绍Apache Flink在实时数据处理中的应用，涵盖流批一体架构、实时计算、数据同步及监控告警系统等内容，适用于多种业务场景。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

应用场景

在这里插入图片描述

Apache Flink 是 Apache 软件基金会的顶级项目，也是当下被广泛使用的开源大数据计算引擎之一。基于它 “流批一体” 的技术，越来越多的企业选择 Apache Flink 应用于自身的业务场景，如数据集成、数据分析、数据仓库、实时分析、实时大屏等场景中，解决实时计算的需求。近年来，Apache Flink 开始广泛应用于推荐、广告和搜索等机器学习业务场景，已覆盖近百家企业的绝大多数实时计算需求，包括互联网娱乐、游戏、电商、金融、证劵、通信等多个行业。
目前 Flink 基本服务于阿里的所有 BU ，在双十一峰值的计算能力达到 40 亿条每秒，计算任务达到了 3 万多个，总共使用 100 万+ Core ；几乎涵盖了集团内的所有具体业务，比如：数据中台、AI 中台、风控中台、实时运维、搜索推荐等。

优势

流批一体
高吞吐、低延迟
exactly-once 的状态一致性保证
结果的准确性和良好的容错性
可以众多常用的存储系统连接
高可用，支持动态扩展

应用案例

基于 Apache Flink 和规则引擎的实时风控解决方案 ​

日均百亿级日志处理：微博基于Flink的实时计算平台建设

基于Flink的超大规模在线实时反欺诈系统的建设与实践

每秒1.8亿条高峰流量，美团数仓上Flink

Apache Flink X Apache Doris 构建极速易用的实时数仓架构

中原银行 OLAP 架构实时化演进

芒果 TV 基于 Flink 的实时数仓建设实践

Flink 使用教程

Flink 从 0 到 1 学习 —— Flink Data transformation(转换)

第十四篇|Flink SQL之维表join

Flink run 参数解释

Flink与Nacos集成

Flink多sink输出

Flink 开源项目系统

flink-recommandSystem-demo: 基于Flink实现的商品实时推荐系统

flink-userportrait-main: 基于Flink流处理的动态实时亿级全端用户画像系统

Flink 电商用户行为统计 流量统计 近期热门商品统计 用户画像分析 商品推荐 风控

flink-streaming-platform-web: 基于flink-sql的实时流计算web平台

Flink SQL

文档

Flink SQL 官网文档

flink sql大量使用案例

如何实时统计最近 15 秒的商品销售额

Flink 系例之 SQL 案例 - 游戏上报数据统计

flink sql 计算实时计算uv和pv

使用Flink SQL将数据写入到ClickHouse

基于 FLINK SQL 的实时数据打宽

flink sql 示例

flink sql kafka canal-json source

Flink 如何将聚合结果写入kafka ——读写canal-json

mysql --> canal --> kafka --> flink sql --> doris

vi products_kafka_to_doris.sql
SET parallelism.default = 1;
SET execution.checkpointing.interval = 3s;
SET sql-client.execution.result-mode = tableau;

CREATE TABLE products_kafka_source (
  id INT,
  name STRING,
  description STRING
) WITH (
  'connector' = 'kafka',
  'topic' = 'fms_test_mysql_topic',
  'properties.bootstrap.servers' = '10.18.2.221:9094',
  'properties.group.id' = 'flink_kafka_test',
  'format' = 'canal-json',
  'scan.startup.mode' = 'latest-offset'
);

CREATE TABLE products_doris_sink (
  id INT,
  name STRING,
  description STRING
) WITH (
'connector' = 'doris',
'fenodes' = '10.18.2.23:8030',
'benodes' = '10.18.2.23:8040',
'table.identifier' = 'app_db.ods_products',
'username' = 'root',
'password' = ''
);

INSERT INTO products_doris_sink SELECT id, name, description FROM products_kafka_source;

启动 ./bin/sql-client.sh -f products_kafka_to_doris.sql


source 打印
drop table if exists print_table;
CREATE TABLE print_table WITH ('connector' = 'print')
LIKE products_kafka_source (EXCLUDING ALL)

时间窗口

窗口函数 | Apache Flink 官网

FlinkSql的窗口使用以及运用案例

FlinkSql中的窗口

FlinkSql开窗实例：消费kafka写入文本

10分钟了解Flink窗口计算 非sql

Flink SQL流表与维表join 和 双流join

Flink SQL 实战：双流 join 场景应用

Flink SQL 双流 join demo

Flink SQL流表与维表join 和 双流join

Flink-join(流表关联流表，流表关联维表),自定义函数

Flink SQL实践记录4 – 实时更新的维表如何join

Flink CDC

Apache Flink CDC 官网

使用 Flink CDC 构建 Streaming ETL | Apache Flink CDC

基于 Flink CDC 实现海量数据的实时同步和转换

Flink CDC，实现Mysql数据增量备份到Clickhouse

Flink CDC采集MySQL binlog日志实时写入ClickHouse

flink cdc mysql --> elasticsearch

Flink SQL CDC 上线！我们总结了 13 条生产实践经验

flink cdc mysql --> apache doris

flink-cdc官网 MySQL 同步到 Doris | Apache Flink CDC
测试脚本

注意事项：
flink 启动配置修改 conf/flink-conf.yaml
jobmanager.bind-host: 改成 0.0.0.0
taskmanager.bind-host: 改成 0.0.0.0
taskmanager.numberOfTaskSlots: 改成 5
parallelism.default: 改成 10
增加 execution.checkpointing.interval: 3000
rest.bind-address: 改成 0.0.0.0
web.cancel.enable: 改成 true

mysql库名和doris库名不相同时必须得配置route参数 必须mysql表与doris表一对一配置。如果mysql有的表但route没配置cdc也会报错

vi mysql-to-doris.yaml
source:
  type: mysql
  hostname: localhost
  port: 5985
  username: root
  password: test123244
  tables: flink_test.\.*
  server-id: 5400-5404
  server-time-zone: UTC

sink:
  type: doris
  fenodes: 10.18.25.21:8030
  benodes: 10.18.25.21:8040
  username: root
  password: ""
  table.create.properties.light_schema_change: true
  table.create.properties.replication_num: 1

route:
  - source-table: flink_test.orders
    sink-table: app_db.ods_orders
  - source-table: flink_test.shipments
    sink-table: app_db.ods_shipments
  - source-table: flink_test.products
    sink-table: app_db.ods_products

pipeline:
  name: Sync MySQL Database to Doris
  parallelism: 2

启动脚本
bash bin/flink-cdc.sh mysql-to-doris.yaml --jar lib/mysql-connector-java-8.0.27.jar --flink-home /data0/flink/flink-1.18.0

flink cdc 实时统计计算

统计mysql 订单表每天的gmv并sink到kafka

mysql --> Canal --> kafka --> Flink --> HDFS

基于Canal与Flink实现数据实时增量同步(一)

基于Canal与Flink实现数据实时增量同步(二)

Dinky

Dinky官网: Dinky 是一个开箱即用的一站式实时计算平台，以 Apache Flink 为基础，连接 OLAP 和数据湖等众多框架，致力于流批一体和湖仓一体的建设与实践。

docker 部署

docker run -d --restart=always --net=host -e MYSQL_ADDR=m3309i.grid.xxxx.com.cn:3309 -e MYSQL_DATABASE=dlink -e MYSQL_USERNAME=mis -e MYSQL_PASSWORD=12434qwer --name dinky dinkydocker/dinky-standalone-server:0.7.5-flink16

docker cp dinky:/opt/dinky/plugins .

docker run增加 -v /data0/dinky/plugins:/opt/dinky/plugins

基于 Dinky + FlinkSQL + Flink CDC 同步 MySQL 数据到 Elasticsearch、Kafka

Flink部署

flink flink-cdc 相关jar包

flink flink-cdc jar
flink-sql-connector-kafka jar
flink-sql-connector-mysql-cdc jar
flink-doris-connector jar

不带sql的jar包 需手动引入第三方依赖jar包 比如kafka clients jar 版本要对应
flink-connector-kafka-1.17.2.jar
kafka-clients-3.2.3.jar
kafka-clients jar

flink sql mysql jdbc相关jar包
flink-connector-jdbc-3.0.0-1.16.jar
注意：新增jar包记得重启

docker 部署flink

docker pull flink:1.17.0

# 创建 docker 网络，方便 JobManager 和 TaskManager 内部访问
 docker network create flink-network
 
# 创建 JobManager 
 docker run \
  -itd \
  --name=jobmanager \
  --publish 8081:8081 \
  --network flink-network \
  --env FLINK_PROPERTIES="jobmanager.rpc.address: jobmanager" \
  flink:1.16.0 jobmanager 
  
# 创建 TaskManager 
 docker run \
  -itd \
  --name=taskmanager \
  --network flink-network \
  --env FLINK_PROPERTIES="jobmanager.rpc.address: jobmanager" \
  flink:1.16.0 taskmanager 

mkdir /data0/flink
docker cp jobmanager:/opt/flink/conf conf
docker cp jobmanager:/opt/flink/lib lib

# 启动 jobmanager   
docker run -itd  -v /data0/flink/conf/:/opt/flink/conf/ -v /data0/flink/lib/:/opt/flink/lib/   --name=jobmanager --publish 8081:8081 --env FLINK_PROPERTIES="jobmanager.rpc.address: jobmanager" --network flink-network flink:1.16.0 jobmanager
# 启动 taskmanager   
docker run -itd  -v /data0/flink/conf/:/opt/flink/conf/ -v /data0/flink/lib/:/opt/flink/lib/ --name=taskmanager --network flink-network --env FLINK_PROPERTIES="jobmanager.rpc.address: jobmanager"  flink:1.16.0 taskmanager

docker exec -it jobmanager ./bin/sql-client.sh

docker-compose 部署flink

Docker Hub flink最新版本

docker安装flink

使用Docker搭建Flink集群

部署命令：

cd /data0
mkdir flink
mkdir flink/conf
mkdir flink/lib

#docker pull flink:1.14.4-scala_2.12
docker pull flink:1.13.6-scala_2.11

vi docker-compose.yml
version: "2.1"
services:
  jobmanager:
    image: flink:1.13.6-scala_2.11
    expose:
      - "6123"
    ports:
      - "8081:8081"
    command: jobmanager
    #volumes:
      #- /data0/flink/lib:/opt/flink/lib
      #- /data0/flink/conf:/opt/flink/conf
    environment:
      - JOB_MANAGER_RPC_ADDRESS=jobmanager
  taskmanager:
    image: flink:1.13.6-scala_2.11
    expose:
      - "6121"
      - "6122"
    depends_on:
      - jobmanager
    command: taskmanager
    links:
      - "jobmanager:jobmanager"
    environment:
      - JOB_MANAGER_RPC_ADDRESS=jobmanager
    #volumes:
      #- /data0/flink/lib:/opt/flink/lib
      #- /data0/flink/conf:/opt/flink/conf

启动：
docker-compose build
docker-compose up -d --force-recreate
docker-compose down
docker-compose restart

查看日志：
docker logs --tail="600" flink_jobmanager_1
docker logs -f flink_taskmanager_1

配置 flink-sql-connector-mysql-cdc-2.2.0.jar:
docker cp lib/flink-sql-connector-mysql-cdc-2.2.0.jar flink_jobmanager_1:/opt/flink/lib

docker cp flink_jobmanager_1:/opt/flink/conf /data0/flink/
docker cp flink_jobmanager_1:/opt/flink/lib /data0/flink/

打开docker-compose.yml注释内容 配置本地文件映射路径
volumes:
  - /data0/flink/lib:/opt/flink/lib
  - /data0/flink/conf:/opt/flink/conf

docker-compose up -d --force-recreate

使用flink sql-client:
docker exec -it flink_jobmanager_1 /bin/bash
./bin/sql-client.sh
或：
docker exec -it flink_jobmanager_1 ./bin/sql-client.sh

mac 安装flink 指定版本

下载flink 找到需要的版本进行下载
https://www.apache.org/dyn/closer.lua/flink/

我下载的版本：
https://dlcdn.apache.org/flink/flink-1.13.6/flink-1.13.6-bin-scala_2.11.tgz

vi ~/.bash_profile中追加

alias flink="/Users/zhaoyang10/Documents/flink/flink-1.13.6/bin/flink"

终端执行：
flink --version

启动flink

cd /Users/zhaoyang10/Documents/flink/flink-1.13.6/bin

启动命令

./start-cluster.sh

停止命令

./stop-cluster.sh

执行job任务：

flink run -d /Users/zhaoyang10/Documents/git/bop-data-sync/data-sync-flink/target/data-sync-flink-1.0.0.jar

flink 日志实时监控告警系统

在这里插入图片描述

【大数据】Flink CDC 实时同步mysql数据
congge
10-07 1万+
Flink CDC 实时同步mysql数据
大数据Flink（一百二十一）：Flink CDC基本介绍
Lansonli（蓝深李）的博客
09-19 2702
Flink CDC 基于数据库日志的 Change Data Caputre 技术，实现了全量和增量的一体化读取能力，并借助 Flink 优秀的管道能力和丰富的上下游生态，支持捕获多种数据库的变更，并将这些变更实时同步到下游存储。目前，Flink CDC 的上游已经支持了 MySQL、MariaDB、PG、Oracle、MongoDB 等丰富的数据源，对 Oceanbase、TiDB、SQLServer 等数据库的支持也已经在社区的规划中。的技术，我们都可以称之为 CDC。
FlinkCDC 实现 MySQL 数据变更实时同步
保持学习
10-17 2932
Flink CDC 是 Apache Flink 提供的一个功能强大的组件，用于实时捕获和处理数据库中的数据变更。FlinkSQLFlink DataStream 和 Table API（本文使用该方式）
FlinkSQL CDC实现同步oracle数据到mysql
m0_67392811的博客
08-01 1798
环境准备。
速通FlinkCDC3.0
最新发布
m0_62569064的博客
04-21 283
FlinkCDC（Flink Change Data Capture）是一个用于实时捕获数据库变更日志的工具，它可以将数据库的变更实时同步到ApacheFlink系统中。
Flink SQL CDC
chbxw
08-12 1076
flink cdc
基于Flink SQL CDC的实时数据同步
北桥源木
07-27 780
Flink SQL CDC是Apache Flink生态系统中的一个组件，用于捕获数据源中的变化，并以表格格式进行表示。它基于数据库的事务日志（如MySQL的binlog），实时地捕获数据库中的变更操作（包括INSERT、UPDATE、DELETE等），并将其转化为流式数据。这使得用户能够实时地获取和处理数据库中的数据变化。基于Flink SQL CDC的实时数据同步方案是一种高效、可靠的数据处理方案。它利用Flink的强大流处理能力和Debezium的变更数据捕获能力，实现了数据的实时捕获、处理和同步。
FLinkSQL+FlinkCDC
No_Mercy017R5的博客
02-20 2801
FlinkCDC（standalone模式）读取mysqlBinlog
Flink SQL CDC 实践以及一致性分析
Ververica的博客
03-10 4005
摘要：本文由民生银行王健、文乔分享，主要介绍民生银行 Flink SQL CDC 实践以及一致性分析。内容包括：背景什么是 Flink SQL CDC ConnectorsFlink SQ...
基于flink-cdc实现监控数据源的实时变更数据捕获
06-06
总之，Flink-CDC是实现实时数据源监控和变更数据捕获的强大工具，其高效、稳定且具有广泛生态支持的特点，使得它在大数据实时处理领域具有广泛的应用前景。对于需要实现实时数据同步和ETL的企业来说，Flink-CDC是一...
基于Flink+FlinkCDC+FlinkSQL+Clickhouse构建实时数据仓库2022
10-26
分享一套flink实时数仓的课程——《基于Flink+FlinkCDC+FlinkSQL+Clickhouse构建实时数据仓库》，2022年10月完结的新课，课程基于flink1.14版本，视频+源码+课件+软件包，一起提供下载！
flink-sql-connector-postgres-cdc-1.2.0.jar
03-05
flink cdc postgres 数据同步 jar包，2021年最新版
基于FlinkSQLCDC的实时数据同步方案
03-03
业务系统经常会遇到需要更新数据到多个存储的需求。例如：一个订单系统刚刚开始只需要写入数据库即可完成业务使用。某天BI团队期望对数据库做全文索引，于是我们同时要写多一份数据到ES中，改造后一段时间，又有需求需要写入到Redis缓存中。很明显这种模式是不可持续发展的，这种双写到各个数据存储系统中可能导致不可维护和扩展，数据一致性问题等，需要引入分布式事务，成本和复杂度也随之增加。我们可以通过CDC（ChangeDataCapture）工具进行解除耦合，同步到下游需要同步的存储系统。通过这种方式提高系统的稳健性，也方便后续的维护。CDC全称是ChangeDataCapture，它是一个比较广义的概念
【实战-01】flink cdc 实时数据同步利器
热门推荐
笔生花的博客
12-21 1万+
对很多初入门的人来说是无法理解cdc到底是什么个东西。有这样一个需求，比如在mysql数据库中存在很多数据，但是公司要把mysql中的数据同步到数据仓库(starrocks), 数据仓库你可以理解为存储了各种各样来自不同数据库中表。数据的同步目前对mysql来说比较常见是方式是使用：datax 和 canal配合， 为什么需要这两个框架配合呢？因为datax不支持实时的同步， datax只能定义一个范围去同步，而且同步结束后程序就结束了。
「轻阅读」基于 Flink SQL CDC的实时数据同步方案，附视频教程
zhenghhgz的博客
11-02 4917
IT实战联盟博客：http://blog.100boot.cn 整理：陈政羽（Flink 社区志愿者）原文：https://mp.weixin.qq.com/s/QNJlacBUlkMT7ksKKSNa5Q Flink 1.11 引入了 Flink SQL CDC，CDC 能给我们数据和业务间能带来什么变化？本文由 Apache Flink PMC，阿里巴巴技术专家伍翀 (云邪）分享，内容将从传统的数据同步方案，基于 Flink CDC 同步的解决方案以及更多的应用场景和 CDC 未来开发规划等方面进行
FlinkSQL系列04-CDC连接器
边看边学
08-31 975
CDC，Change Data Capture，变更数据获取的简称，使用 CDC 我们可以从数据库中获取已提交的更改，并将这些更改发送到下游，供下游使用。flink 的 cdc connector，在核心包中是没有集成的， 需要额外引入依赖。在 flinksql 中，cdc 数据几乎等价于 changelog，核心就在对 record 的 rowkind（+I/-U/+U/-D）进行适配。示例：用 flink-mysql-cdc 连接器，映射源表，并进行查询计算写回mysql表。...
Flink实战-（6）FlinkSQL实现CDC
Carson073的博客
04-26 3123
下载改JAR包，把它加到Flink下的lib路径下，然后重启sql-client；上传相关的依赖包，这几个包在网上很容易找到。进入Flink的lib目录。启动 Flink客户端。
（13）Flink SQL CDC
allensandy的博客
09-04 306
转自：Flink SQL CDC 上线！我们总结了 13 条生产实践经验
FlinkCDC 使用 FlinkSQL 方式监控 MySQL
03-22 1571
之前写过一篇使用 FlinkCDC 的 DataStream 方式监控 MySQL 表变化的文章这篇介绍下使用 FlinkCDC 的 FlinkSQL 方式监控表变化；
Flink-CDC实时数据捕获详解与优势
本文主要介绍了如何使用Flink-CDC实现监控数据源的实时变更数据捕获，涵盖了技术定义、应用场景、技术选型、优势及Flink-CDC的特点和生态。 1. CDC技术介绍： CDC（Change Data Capture）是数据库中用于捕获和跟踪...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值