Flink1.18 同步 MySQL 到 Doris

已于 2024-08-22 15:00:11 修改
阅读量874 收藏 20
点赞数 8
分类专栏： Flink 文章标签： flink 数据库同步 Flink CDC
于 2024-08-21 15:30:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/XINYANGXINNIAN/article/details/141392872
版权

一、前言        

        使用Apache Flink实现数据同步的ETL（抽取、转换、加载）过程通常涉及从源系统（如数据库、消息队列或文件）中抽取数据，进行必要的转换，然后将数据加载到目标系统（如另一个数据库或数据仓库）。在这里，我们将展示如何使用Apache Flink来实现一个从MySQL或Oracle数据库抽取数据并同步到另一个Doris数据库的ETL过程。

Flink官网：Apache Flink CDC | Apache Flink CDC

开启 Mysql Binlog

修改我们的配置文件 my.cnf，增加：

server_id=1
log_bin=mysql-bin
binlog_format=ROW
expire_logs_days=30

  重启 mysql 

# 判断MySQL是否已经开启binlog   on  为打开状态
SHOW VARIABLES LIKE 'log_bin';    
 
# 查看MySQL的binlog模式
show global variables like "binlog%";
 
# 查看日志开启状态 
show variables like 'log_%';
 
# 刷新log日志，立刻产生一个新编号的binlog日志文件，跟重启一个效果 
flush logs;
 
# 清空所有binlog日志 
reset master;

1、下载 Flink 1.18.0，解压后得到 flink-1.18.0 目录。 使用下面的命令跳转至 Flink 目录下，并且设置 FLINK_HOME 为 flink-1.18.0 所在目录。

tar -xzf flink-*.tgz

cd flink-1.18.0

export FLINK_HOME=/usr/local/flink-1.18.0

2、通过在 conf/flink-conf.yaml 配置文件追加下列参数开启 checkpoint，每隔 3 秒做一次 checkpoint。

execution.checkpointing.interval: 3000

 3、使用下面的命令启动 Flink 集群。

cd /usr/local/flink-1.18.0
./bin/start-cluster.sh

Flink现在作为后台进程运行。您可以使用以下命令检查其状态：

ps aux | grep flink

 启动成功的话，可以在 http://localhost:8081/访问到 Flink Web UI，如下所示：

多次执行 start-cluster.sh 可以拉起多个 TaskManager。

如果想修改端口，可以在 conf/flink-conf.yaml 中修改 rest.port

要快速停止集群和所有正在运行的组件，您可以使用提供的脚本：

./bin/stop-cluster.sh

三、通过 FlinkCDC cli 提交任务 

支持的连接器：

连接器类型支持的外部系统
Apache DorisSink
MySQLSource
StarRocksSink

1、下载下面列出的二进制压缩包，并解压得到目录 flink-cdc-3.1.0； flink-cdc-3.1.0-bin.tar.gz flink-cdc-3.1.0 下会包含 bin、lib、log、conf 四个目录。

2、下载下面列出的 connector 包，并且移动到 lib 目录下； 下载链接只对已发布的版本有效, SNAPSHOT 版本需要本地基于 master 或 release- 分支编译.

3、编写任务配置 yaml 文件 下面给出了一个整库同步的示例文件 mysql-to-doris.yaml：

################################################################################
# Description: Sync MySQL all tables to Doris
################################################################################
source:
  type: mysql
  hostname: localhost
  port: 3306
  username: root
  password: 123456
  tables: app_db.\.*
  server-id: 5400-5404
  server-time-zone: UTC

sink:
  type: doris
  fenodes: 127.0.0.1:8030
  username: root
  password: ""
  table.create.properties.light_schema_change: true
  table.create.properties.replication_num: 1

pipeline:
  name: Sync MySQL Database to Doris
  parallelism: 2

其中： source 中的 tables: app_db.\.* 通过正则匹配同步 app_db 下的所有表。 sink 添加 table.create.properties.replication_num 参数是由于 Docker 镜像中只有一个 Doris BE 节点。

4、最后，通过命令行提交任务到 Flink Standalone cluster

bash bin/flink-cdc.sh mysql-to-doris.yaml

提交成功后，返回信息如：

Pipeline has been submitted to cluster.
Job ID: ae30f4580f1918bebf16752d4963dc54
Job Description: Sync MySQL Database to Doris

在 Flink Web UI，可以看到一个名为 Sync MySQL Database to Doris 的任务正在运行。

四、Route the changes 

Flink CDC 提供了将源表的表结构/数据路由到其他表名的配置，借助这种能力，我们能够实现表名库名替换，整库同步等功能。 下面提供一个配置文件说明：

################################################################################
# Description: Sync MySQL all tables to Doris
################################################################################
source:
   type: mysql
   hostname: localhost
   port: 3306
   username: root
   password: 123456
   tables: app_db.\.*
   server-id: 5400-5404
   server-time-zone: UTC

sink:
   type: doris
   fenodes: 127.0.0.1:8030
   benodes: 127.0.0.1:8040
   username: root
   password: ""
   table.create.properties.light_schema_change: true
   table.create.properties.replication_num: 1

route:
   - source-table: app_db.orders
     sink-table: ods_db.ods_orders
   - source-table: app_db.shipments
     sink-table: ods_db.ods_shipments
   - source-table: app_db.products
     sink-table: ods_db.ods_products

pipeline:
   name: Sync MySQL Database to Doris
   parallelism: 2

通过上面的 route 配置，会将 app_db.orders 表的结构和数据同步到 ods_db.ods_orders 中。从而实现数据库迁移的功能。 特别地，source-table 支持正则表达式匹配多表，从而实现分库分表同步的功能，例如下面的配置：

route:
  - source-table: app_db.order\.*
    sink-table: ods_db.ods_orders

 这样，就可以将诸如 app_db.order01、app_db.order02、app_db.order03 的表汇总到 ods_db.ods_orders 中。注意，目前还不支持多表中存在相同主键数据的场景，将在后续版本支持。

以下扩展笔记

五、通过Flink Sql Client 方式与 Flink 进行交互

支持的连接器：

ConnectorDatabaseDriver
mongodb-cdc MongoDB Driver: 4.9.1
mysql-cdc JDBC Driver: 8.0.28
oceanbase-cdc OceanBase Driver: 2.4.x
oracle-cdc Oracle Driver: 19.3.0.0
postgres-cdc JDBC Driver: 42.5.1
sqlserver-cdc JDBC Driver: 9.4.1.jre8
tidb-cdc
  • TiDB: 5.1.x, 5.2.x, 5.3.x, 5.4.x, 6.0.0
JDBC Driver: 8.0.27
db2-cdc Db2 Driver: 11.5.0.0
vitess-cdc MySql JDBC Driver: 8.0.26

下表显示了Flink CDC连接器和Flink 之间的版本映射： 

Flink® CDC VersionFlink® Version
1.0.01.11.*
1.1.01.11.*
1.2.01.12.*
1.3.01.12.*
1.4.01.13.*
2.0.*1.13.*
2.1.*1.13.*
2.2.*1.13.*, 1.14.*
2.3.*1.13.*, 1.14.*, 1.15.*, 1.16.*
2.4.*1.13.*, 1.14.*, 1.15.*, 1.16.*, 1.17.*
3.0.*1.14.*, 1.15.*, 1.16.*, 1.17.*, 1.18.*

使用下面的命令启动 Flink SQL CLI

#在flink目录下
./bin/sql-client.sh

然后建表语句创建Flink表 ，以下展示将flink_source.source_test表实时同步到flink_sink、flink_sink_second的sink_test表，Mysql同步Mysql。

# 每 3 秒做一次 checkpoint，用于测试，生产配置建议5到10分钟
Flink SQL> SET execution.checkpointing.interval = 3s;
[INFO] Session property has been set.

Flink SQL> CREATE TABLE source_test (
>   user_id STRING,
>   user_name STRING,
>   PRIMARY KEY (user_id) NOT ENFORCED
> ) WITH (
>    'connector' = 'mysql-cdc',
>    'hostname' = '192.168.3.31',
>    'port' = '3306',
>    'username' = 'root',
>    'password' = '******',
>    'database-name' = 'flink_source',
>    'table-name' = 'source_test'
> );
[INFO] Execute statement succeed.

Flink SQL> CREATE TABLE sink_test (
>   user_id STRING,
>   user_name STRING,
>   PRIMARY KEY (user_id) NOT ENFORCED
> ) WITH (
>    'connector' = 'jdbc',
>    'url' = 'jdbc:mysql://192.168.3.31:3306/flink_sink',
>    'driver' = 'com.mysql.cj.jdbc.Driver',
>    'username' = 'root',
>    'password' = '******',
>    'table-name' = 'sink_test'
> );
[INFO] Execute statement succeed.

Flink SQL> CREATE TABLE sink_test_second (
>   user_id STRING,
>   user_name STRING,
>   PRIMARY KEY (user_id) NOT ENFORCED
> ) WITH (
>    'connector' = 'jdbc',
>    'url' = 'jdbc:mysql://192.168.3.31:3306/flink_sink_second',
>    'driver' = 'com.mysql.cj.jdbc.Driver',
>    'username' = 'root',
>    'password' = '******',
>    'table-name' = 'sink_test'
> );
[INFO] Execute statement succeed.

Flink SQL> insert into sink_test select * from source_test;
[INFO] Submitting SQL update statement to the cluster...
[INFO] SQL update statement has been successfully submitted to the cluster:
Job ID: 0c49758cc251699f0b4acd6c9f735e6e


Flink SQL> insert into sink_test_second select * from source_test;
[INFO] Submitting SQL update statement to the cluster...
[INFO] SQL update statement has been successfully submitted to the cluster:
Job ID: ecea685a715d7d40ee1a94aac3236c18


Flink SQL>

注意需要将flink-sql-connector-mysql-cdc-3.1.0.jar放到{flink-1.18.0}/lib/ 下 。

下载 Flink CDC 相关 Jar 包：Central Repository: com/ververica/flink-sql-connector-mysql-cdc

 如果报如下错误：将flink-connector-jdbc-3.2.0-1.18.jar放到{flink-1.18.0}/lib/ 下 。

[ERROR] Could not execute SQL statement. Reason:
org.apache.flink.table.api.ValidationException: Could not find any factory for identifier 'jdbc' that implements 'org.apache.flink.table.factories.DynamicTableFactory' in the classpath.

Available factory identifiers are:

blackhole
datagen
filesystem
mysql-cdc
print
python-input-format

JDBC SQL 连接器：JDBC 连接器（使用地址）允许使用 JDBC 驱动向任意类型的关系型数据库读取或者写入数据。针对关系型数据库如何通过建立 JDBC 连接器来执行 SQL 查询。如果在 DDL 中定义了主键，JDBC sink 将以 upsert 模式与外部系统交换 UPDATE/DELETE 消息；否则，它将以 append 模式与外部系统交换消息且不支持消费 UPDATE/DELETE 消息。下载JDBC SQL连接器的依赖包，放到目录 {flink-1.18.0}/lib/ 下，用于使用JDBC SQL连接器连接MySQL的sink库。 

Mysql连接器选项：

OptionRequiredDefaultTypeDescription
connectorrequired(none)String指定要使用的连接器, 这里应该是 'mysql-cdc'.
hostnamerequired(none)StringMySQL 数据库服务器的 IP 地址或主机名。
usernamerequired(none)String连接到 MySQL 数据库服务器时要使用的 MySQL 用户的名称。
passwordrequired(none)String连接 MySQL 数据库服务器时使用的密码。
database-namerequired(none)String要监视的 MySQL 服务器的数据库名称。数据库名称还支持正则表达式，以监视多个与正则表达式匹配的表。
table-namerequired(none)String需要监视的 MySQL 数据库的表名。表名支持正则表达式，以监视满足正则表达式的多个表。注意：MySQL CDC 连接器在正则匹配表名时，会把用户填写的 database-name， table-name 通过字符串 `\\.` 连接成一个全路径的正则表达式，然后使用该正则表达式和 MySQL 数据库中表的全限定名进行正则匹配。
portoptional3306IntegerMySQL 数据库服务器的整数端口号。
server-idoptional(none)String读取数据使用的 server id，server id 可以是个整数或者一个整数范围，比如 '5400' 或 '5400-5408', 建议在 'scan.incremental.snapshot.enabled' 参数为启用时，配置成整数范围。因为在当前 MySQL 集群中运行的所有 slave 节点，标记每个 salve 节点的 id 都必须是唯一的。 所以当连接器加入 MySQL 集群作为另一个 slave 节点（并且具有唯一 id 的情况下），它就可以读取 binlog。 默认情况下，连接器会在 5400 和 6400 之间生成一个随机数，但是我们建议用户明确指定 Server id。
scan.incremental.snapshot.enabledoptionaltrueBoolean增量快照是一种读取表快照的新机制，与旧的快照机制相比， 增量快照有许多优点，包括： （1）在快照读取期间，Source 支持并发读取， （2）在快照读取期间，Source 支持进行 chunk 粒度的 checkpoint， （3）在快照读取之前，Source 不需要数据库锁权限。 如果希望 Source 并行运行，则每个并行 Readers 都应该具有唯一的 Server id，所以 Server id 必须是类似 `5400-6400` 的范围，并且该范围必须大于并行度。 请查阅 增量快照读取 章节了解更多详细信息。
scan.incremental.snapshot.chunk.sizeoptional8096Integer表快照的块大小（行数），读取表的快照时，捕获的表被拆分为多个块。
scan.snapshot.fetch.sizeoptional1024Integer读取表快照时每次读取数据的最大条数。
scan.startup.modeoptionalinitialStringMySQL CDC 消费者可选的启动模式， 合法的模式为 "initial"，"earliest-offset"，"latest-offset"，"specific-offset" 和 "timestamp"。 请查阅 启动模式 章节了解更多详细信息。
scan.startup.specific-offset.fileoptional(none)String在 "specific-offset" 启动模式下，启动位点的 binlog 文件名。
scan.startup.specific-offset.posoptional(none)Long在 "specific-offset" 启动模式下，启动位点的 binlog 文件位置。
scan.startup.specific-offset.gtid-setoptional(none)String在 "specific-offset" 启动模式下，启动位点的 GTID 集合。
scan.startup.specific-offset.skip-eventsoptional(none)Long在指定的启动位点后需要跳过的事件数量。
scan.startup.specific-offset.skip-rowsoptional(none)Long在指定的启动位点后需要跳过的数据行数量。
server-time-zoneoptional(none)String数据库服务器中的会话时区， 例如： "Asia/Shanghai". 它控制 MYSQL 中的时间戳类型如何转换为字符串。 更多请参考 这里. 如果没有设置，则使用ZoneId.systemDefault()来确定服务器时区。
debezium.min.row. count.to.stream.resultoptional1000Integer在快照操作期间，连接器将查询每个包含的表，以生成该表中所有行的读取事件。 此参数确定 MySQL 连接是否将表的所有结果拉入内存（速度很快，但需要大量内存）， 或者结果是否需要流式传输（传输速度可能较慢，但适用于非常大的表）。 该值指定了在连接器对结果进行流式处理之前，表必须包含的最小行数，默认值为1000。将此参数设置为`0`以跳过所有表大小检查，并始终在快照期间对所有结果进行流式处理。
connect.timeoutoptional30sDuration连接器在尝试连接到 MySQL 数据库服务器后超时前应等待的最长时间。
connect.max-retriesoptional3Integer连接器应重试以建立 MySQL 数据库服务器连接的最大重试次数。
connection.pool.sizeoptional20Integer连接池大小。
jdbc.properties.*optional20String传递自定义 JDBC URL 属性的选项。用户可以传递自定义属性，如 'jdbc.properties.useSSL' = 'false'.
heartbeat.intervaloptional30sDuration用于跟踪最新可用 binlog 偏移的发送心跳事件的间隔。
debezium.*optional(none)String将 Debezium 的属性传递给 Debezium 嵌入式引擎，该引擎用于从 MySQL 服务器捕获数据更改。 For example: 'debezium.snapshot.mode' = 'never'. 查看更多关于 Debezium 的 MySQL 连接器属性
scan.incremental.close-idle-reader.enabledoptionalfalseBoolean是否在快照结束后关闭空闲的 Reader。 此特性需要 flink 版本大于等于 1.14 并且 'execution.checkpointing.checkpoints-after-tasks-finish.enabled' 需要设置为 true。

Jdbc连接器选项：

参数是否必填默认值类型描述
connector
必填(none)String指定使用什么类型的连接器，这里应该是'jdbc'。
url
必填(none)StringJDBC 数据库 url。
table-name
必填(none)String连接到 JDBC 表的名称。
driver
可选(none)String用于连接到此 URL 的 JDBC 驱动类名，如果不设置，将自动从 URL 中推导。
compatible-mode
可选(none)String数据库的兼容模式。
username
可选(none)StringJDBC 用户名。如果指定了 'username' 和 'password' 中的任一参数，则两者必须都被指定。
password
可选(none)StringJDBC 密码。
connection.max-retry-timeout
可选60sDuration最大重试超时时间，以秒为单位且不应该小于 1 秒。
scan.partition.column
可选(none)String用于将输入进行分区的列名。请参阅下面的分区扫描部分了解更多详情。
scan.partition.num
可选(none)Integer分区数。
scan.partition.lower-bound
可选(none)Integer第一个分区的最小值。
scan.partition.upper-bound
可选(none)Integer最后一个分区的最大值。
scan.fetch-size
可选0Integer每次循环读取时应该从数据库中获取的行数。如果指定的值为 '0'，则该配置项会被忽略。
scan.auto-commit
可选trueBoolean在 JDBC 驱动程序上设置 auto-commit 标志， 它决定了每个语句是否在事务中自动提交。有些 JDBC 驱动程序，特别是 Postgres，可能需要将此设置为 false 以便流化结果。
lookup.cache
可选NONE

枚举类型

可选值: NONE, PARTIAL		维表的缓存策略。 目前支持 NONE（不缓存）和 PARTIAL（只在外部数据库中查找数据时缓存）。
lookup.cache.max-rows
可选(none)Integer维表缓存的最大行数，若超过该值，则最老的行记录将会过期。 使用该配置时 "lookup.cache" 必须设置为 "PARTIAL”。请参阅下面的 Lookup Cache 部分了解更多详情。
lookup.partial-cache.expire-after-write
可选(none)Duration在记录写入缓存后该记录的最大保留时间。 使用该配置时 "lookup.cache" 必须设置为 "PARTIAL”。请参阅下面的 Lookup Cache 部分了解更多详情。
lookup.partial-cache.expire-after-access
可选(none)Duration在缓存中的记录被访问后该记录的最大保留时间。 使用该配置时 "lookup.cache" 必须设置为 "PARTIAL”。请参阅下面的 Lookup Cache 部分了解更多详情。
lookup.partial-cache.cache-missing-key
可选trueBoolean是否缓存维表中不存在的键，默认为true。 使用该配置时 "lookup.cache" 必须设置为 "PARTIAL”。
lookup.max-retries
可选3Integer查询数据库失败的最大重试次数。
sink.buffer-flush.max-rows
可选100Integerflush 前缓存记录的最大值，可以设置为 '0' 来禁用它。
sink.buffer-flush.interval
可选1sDurationflush 间隔时间，超过该时间后异步线程将 flush 数据。可以设置为 '0' 来禁用它。注意, 为了完全异步地处理缓存的 flush 事件，可以将 'sink.buffer-flush.max-rows' 设置为 '0' 并配置适当的 flush 时间间隔。
sink.max-retries
可选3Integer写入记录到数据库失败后的最大重试次数。
sink.parallelism
可选(none)Integer用于定义 JDBC sink 算子的并行度。默认情况下，并行度是由框架决定：使用与上游链式算子相同的并行度。

六、使用数据流API

包含以下Maven依赖项（通过Maven中心库提供）：

<dependency>
  <groupId>org.apache.flink</groupId>
  <!-- 添加与你的数据库匹配的依赖 -->
  <artifactId>flink-connector-mysql-cdc</artifactId>
  <!-- 该依赖仅适用于稳定发布，SNAPSHOT依赖需要根据master或release分支自行构建。 -->
  <version>3.1.0</version>
</dependency>
import org.apache.flink.api.common.eventtime.WatermarkStrategy;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.cdc.debezium.JsonDebeziumDeserializationSchema;
import org.apache.flink.cdc.connectors.mysql.source.MySqlSource;

public class MySqlSourceExample {
  public static void main(String[] args) throws Exception {
    MySqlSource<String> mySqlSource = MySqlSource.<String>builder()
            .hostname("yourHostname")
            .port(yourPort)
            .databaseList("yourDatabaseName") // 设置捕获的数据库
            .tableList("yourDatabaseName.yourTableName") // 设置捕获的表
            .username("yourUsername")
            .password("yourPassword")
            .deserializer(new JsonDebeziumDeserializationSchema()) // 将SourceRecord转换为JSON字符串
            .build();

    StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

    // 启用检查点
    env.enableCheckpointing(3000);

    env
      .fromSource(mySqlSource, WatermarkStrategy.noWatermarks(), "MySQL Source")
      // 设置4个并行源任务
      .setParallelism(4)
      .print().setParallelism(1); // 为sink设置并行度为1，以保持消息顺序

    env.execute("Print MySQL Snapshot + Binlog");
  }
}

zhua.er
关注
  • 8
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Doris】利用Flink-CDC和flink-doris-connector技术实现Mysql数据全量或增量同步至Doris
m0_54252387的博客
07-09 2404
解决了传统数据库实时同步的痛点， 该技术抛弃了其他第三方组件（例如Kafka等），能够实时读取Mysql master节点全量和增量数据，能够捕获所有数据的变化，同时它完全与业务解耦，运维也及其简单。具体介绍请参考：Flink_CDC搭建及简单使用 及 flink-cdc-connectors。它是一个现代化的MPP分析型数据库产品。仅需亚秒级响应时间即可获得查询结果，有效地支持实时数据分析。Apache Doris的分布式架构非常简洁，易于运维，并且可以支持10PB以上的超大数据集。Apache Dori
Flink CDC MySQL同步MySQL（一）
07-06
jdbc
FlinkCDC如何实时同步mysql数据到DorisDB/StarRocks
Demon的博客
09-19 3420
FlinkCDC同步mysql数据到DorisDB/StarRocks
使用 Flink CDC 实现 MySQL 数据实时入 Apache Doris
02-27 2456
Apache Doris 代码仓库地址：apache/incubator-doris 欢迎大家关注加星 本文通过实例来演示怎么通过Flink CDC 结合Doris的Flink Connector实现从Mysql数据库中监听数据并实时入库到Doris数仓对应的表中。 1.什么是CDC CDC 是变更数据捕获（Change Data Capture）技术的缩写，它可以将源数据库（Source）的增量变动记录，同步到一个或多个数据目的（Sink）。在同步过程中，还可以对数据进行一定的处理，例如分组（GRO
FlinkCDC将MySQL接入Doris实战
wangleigiser的博客
09-05 4355
FlinkCDC将MySQL接入Doris MySQL安装 Doris安装 Scala环境安装 Flink 环境安装 通过Flink CDC将MySQL数据同步到Doirs任务编写 1. 《图解Spark 大数据快速分析实战（异步图书出品）》 2. 《Offer来了：Java面试核心知识点精讲（第2版）(博文视点出品)》 3. 《Offer来了：Java面试核心知识点精讲（原理篇）(博文视点出品)》 4. 《Offer来了：Java面试核心知识点精讲（框架篇）(博文视点出品)》
MySQL到Doris的StreamingETL实现（Flink CDC 3.0）
zuo1057559550的博客
04-17 950
将flink-cdc-pipeline-connector-doris-3.0.0.jar以及flink-cdc-pipeline-connector-mysql-3.0.0.jar防止在FlinkCDC的lib目录下。4）在MySQL的test_route数据中对应的几张表进行新增、修改数据操作，并刷新Doris中doris_test_route数据库观察结果。（7）在MySQL的test数据中对应的几张表进行新增、修改数据以及新增列操作，并刷新Doris中test数据库观察结果。
Flink同步Hdfs数据到doris
10-19
本场景中，我们关注的是如何使用Flink将存储在Hadoop分布式文件系统（HDFS）上的数据同步到Doris分布式列式数据库。以下是关于这个主题的详细解释。 **Flink简介** Apache Flink是一个开源的流处理框架，支持批处理...
flink cdc 可执行包 同步mysql到doris工具
最新发布
08-16
flink cdc 可执行包 同步mysql到doris工具，搭配文档教程，和同步示范文档。
mysql实时同步pg
01-17
在这个场景中，我们将使用Flink CDC来实现MySQL到PostgreSQL的实时数据同步。 首先，我们需要配置源数据库和目标数据库的信息。在MySQL端，我们需要指定要同步的数据库和表，以及MySQL的连接信息。在PostgreSQL端，...
flink同步mysql所需包
07-05
flink同步mysql数据库所用包 flink-1.16.2-bin-scala_2.12.tgz flink-connector-jdbc-3.0.0-1.16.jar flink-sql-connector-mysql-cdc-2.3.0.jar
Flink CDC2.4 整库实时同步MySql 到Doris
希夷的博客
06-29 6167
mysql 到doris的数据、表结构实时同步
Flink实时同步MySQL与Doris数据
eagle89的专栏
02-16 2514
Flink-cdc
FlinkCDC（三）同步mysql的binlog到doris
jwandbj的博客
12-26 1333
另外一种使用jdbc的方式，直接读取mysql的表结构信息，然后通过jdbc的方式连接doris创建表结构；1、在同步的时候，怎么实现在doris里面自动创建表结构。如果不是自动创建表结构，那么每次同步一个表都需要手动去创建表结构，这样的话会很累；使用jdbc的方式，直接读取mysql的表结构信息，然后通过jdbc的方式连接doris创建表结构；2、多个表或者整库同步的时候，怎么通过只连接一次，就可以监听多个表或者整库的数据变动；所以呢，这篇文章先解决第一个问题，如何自动同步表结构到doris；
Flink CDC结合Doris flink connector实现Mysql数据实时入Apache Doris
Focus on Lakehouse
11-28 2080
本文通过实例来演示怎么通过Flink CDC 结合Doris的Flink Connector实现从Mysql数据库中监听数据并实时入库到Doris数仓对应的表中。1.什么是CDCCDC 是变更数据捕获（Change Data Capture）技术的缩写，它可以将源数据库（Source）的增量变动记录，同步到一个或多个数据目的（Sink）。在同步过程中，还可以对数据进行一定的处理，例如分组（GROU...
Flinkcdc（一）同步mysql的binlog到doris
jwandbj的博客
12-25 797
现在使用第一种方式来实现，通过在flink的client里面进行sql方式的执行。在flink的bin目录下有一个./bin/sql-client.sh，进入到这里面可以执行sql语句。flink利用mysql-cdc从mysql读取binlog日志；一种使用的是datastream的方式；一种是直接使用sql的方式；
基于Flink+Doris构建亿级全端电商实时数据分析平台
05-07
上层应用业务对实时数据的需求，主要包含两部分内容：1、 整体数据的实时分析。2、 AB实验效果的实时监控。这几部分数据需求，都需要进行的下钻分析支持，我们希望能够建立统一的实时OLAP数据仓库，并提供一套安全、可靠的、灵活的实时数据服务。目前每日新增的曝光日志达到几亿条记录，再细拆到AB实验更细维度时，数据量则多达上百亿记录，多维数据组合下的聚合查询要求秒级响应时间，这样的数据量也给团队带来了不小的挑战。OLAP层的技术选型，需要满足以下几点：1：数据延迟在分钟级，查询响应时间在秒级2：标准SQL交互引擎，降低使用成本3：支持join操作，方便维度增加属性信息4：流量数据可以近似去重，但订单行要精准去重5：高吞吐，每分钟数据量在千W级记录，每天数百亿条新增记录6：前端业务较多，查询并发度不能太低通过对比开源的几款实时OLAP引擎，可以发现Doris和ClickHouse能够满足上面的需求，但是ClickHouse的并发度太低是个潜在的风险，而且ClickHouse的数据导入没有事务支持，无法实现exactly once语义，对标准SQL的支持也是有限的。所以针对以上需求Doris完全能解决我们的问题，DorisDB是一个性能非常高的分布式、面向交互式查询的分布式数据库，非常的强大，随着互联网发展，数据量会越来越大，实时查询需求也会要求越来越高，DorisDB人才需求也会越来越大，越早掌握DorisDB，以后就会有更大的机遇。本课程基于真实热门的互联网电商业务场景为案例讲解，具体分析指标包含：AB版本分析，下砖分析，营销分析，订单分析，终端分析等，能承载海量数据的实时分析，数据分析涵盖全端（PC、移动、小程序）应用。整个课程，会带大家实践一个完整系统，大家可以根据自己的公司业务修改，既可以用到项目中去，价值是非常高的。本课程包含的技术：开发工具为：IDEA、WebStormFlink1.9.0DorisDBHadoop2.7.5Hbase2.2.6Kafka2.1.0Hive2.2.0HDFS、MapReduceFlume、ZookeeperBinlog、Canal、MySQLSpringBoot2.0.8.RELEASESpringCloud Finchley.SR2Vue.js、Nodejs、Highcharts、ElementUILinux Shell编程等课程亮点：1.与企业接轨、真实工业界产品2.DorisDB高性能分布式数据库3.大数据热门技术Flink4.支持ABtest版本实时监控分析5.支持下砖分析6.数据分析涵盖全端（PC、移动、小程序）应用7.主流微服务后端系统8.天级别与小时级别多时间方位分析9.数据库实时同步解决方案10.涵盖主流前端技术VUE+jQuery+Ajax+NodeJS+ElementUI11.集成SpringCloud实现统一整合方案12.互联网大数据企业热门技术栈13.支持海量数据的实时分析14.支持全端实时数据分析15.全程代码实操，提供全部代码和资料16.提供答疑和提供企业技术方案咨询企业一线架构师讲授，代码在老师的指导下企业可以复用，提供企业解决方案。  版权归作者所有，盗版将进行法律维权。 
FlinkCDC将mysql数据写入Doris
AnameJL的博客
02-24 831
实时数仓
「轻阅读」基于 Flink SQL CDC的实时数据同步方案，附视频教程
zhenghhgz的博客
11-02 4794
IT实战联盟博客：http://blog.100boot.cn 整理：陈政羽（Flink 社区志愿者）原文：https://mp.weixin.qq.com/s/QNJlacBUlkMT7ksKKSNa5Q Flink 1.11 引入了 Flink SQL CDC，CDC 能给我们数据和业务间能带来什么变化？本文由 Apache Flink PMC，阿里巴巴技术专家伍翀 (云邪）分享，内容将从传统的数据同步方案，基于 Flink CDC 同步的解决方案以及更多的应用场景和 CDC 未来开发规划等方面进行
flink导入mysql到doris
05-05
要将 Flink 数据导入到 MySQL 中，你可以使用 JDBC 连接器。以下是一个简单的代码示例： ```java DataStream<Tuple2<String, Integer>> input = ...; // 定义 JDBC 连接器 JDBCOutputFormat jdbcOutput = JDBCOutputFormat.buildJDBCOutputFormat() .setDrivername("com.mysql.jdbc.Driver") .setDBUrl("jdbc:mysql://localhost:3306/test") .setUsername("root") .setPassword("password") .setQuery("INSERT INTO word_count (word, count) VALUES (?, ?)") .setSqlTypes(new int[] { Types.VARCHAR, Types.INTEGER }) .finish(); // 将数据写入 MySQL input.addSink(jdbcOutput); ``` 这里假设你的 MySQL 数据库名为 test，用户名为 root，密码为 password。你需要将上述代码中的数据库信息替换为你自己的。 要将 Flink 数据导入到 Doris 中，你可以使用 Flink 的 Table API 和 Doris 的 JDBC 连接器。以下是一个简单的代码示例： ```java // 定义 Flink 表 Table table = ... // 定义 Doris 表的 JDBC 连接器 JDBCAppendTableSink jdbcSink = JDBCAppendTableSink.builder() .setDrivername("com.mysql.jdbc.Driver") .setDBUrl("jdbc:mysql://localhost:9030") .setUsername("root") .setPassword("password") .setTableName("test.word_count") .build(); // 将 Flink 表写入 Doris 表 table.writeToSink(jdbcSink); ``` 这里假设你的 Doris 的 MySQL 地址为 localhost:9030，用户名为 root，密码为 password，要将数据写入名为 test 的数据库的 word_count 表中。你需要将上述代码中的数据库信息替换为你自己的。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值