使用 Flink CDC 实现 MySQL 数据实时入 Apache Doris

已于 2022-07-07 14:55:57 修改
阅读量1k 收藏 1
点赞数 1
文章标签： 大数据
于 2022-07-06 15:20:15 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_67290641/article/details/125640013
版权
本文详细介绍了如何使用Flink CDC将MySQL中的数据实时入到Apache Doris中，包括启动Flink、配置MySQL、创建数据库表、启动Flink SQL客户端、创建映射表以及插入和观察数据的过程。
摘要由CSDN通过智能技术生成

需要组件：

mysql 5.7.37

Doris-0.15.1

flink-1.13.6

scala_2.12

flink-connector-mysql-cdc-2.0.2

flink-doris-connector-1.13_2.12-1.0.3

1.启动Flink

2.配置 Mysql

  1. 开启Mysql binlog

修改/etc/my.cnf 文件，在 [mysqld] 下面添加以下内容，

3.创建Mysql数据库表

CREATE TABLE `test_cdc` ( `id` int NOT NULL AUTO_INCREMENT, `name` varchar(255) DEFAULT NULL, PRIMARY KEY (`id

最低0.47元/天 解锁文章
【Doris】Flink CDC 结合 Doris Flink Connector 实现MySQL数据实时入Apache Doris
m0_54252387的博客
07-12 2255
CDC 是变更数据捕获（Change Data Capture）技术的缩写，它可以将源数据库（Source）的增量变动记录，同步到一个或多个数据目的（Sink）。在同步过程中，还可以对数据进行一定的处理，例如分组（GROUP BY）、多表的关联（JOIN）等。例如对于电商平台，用户的订单会实时写入到某个源数据库；A 部门需要将每分钟的实时数据简单聚合处理后保存到 Redis 中以供查询，B 部门需要将当天的数据暂存到 Elasticsearch 一份来做报表展示，C 部门也需要一份数据到 ClickHous
Flink系列之：使用Flink Mysql CDC基于Flink SQL同步mysql数据到StarRocks数据库
zhengzaifeidelushang的博客
01-29 1449
Flink系列之：使用Flink Mysql CDC基于Flink SQL同步mysql数据到StarRocks数据库
apache-doris-flink-connector-1.13_2.12-1.0.3
05-05
Flink Doris Connector 源码（apache-doris-flink-connector-1.13_2.12-1.0.3-incubating-src.tar.gz） Flink Doris Connector Version：1.0.3 Flink Version：1.13 Scala Version：2.12 Apache Doris是一个现代MPP分析数据库产品。它可以提供亚秒级查询和高效的实时数据分析。通过它的分布式架构，高达10PB级的数据集将得到很好的支持，易于操作。 Apache Doris可以满足各种数据分析需求，包括历史数据报告、实时数据分析、交互式数据分析和探索性数据分析。让您的数据分析更容易!
利用Flink-CDC和flink-doris-connector技术实现Mysql数据全量或增量同步至Doris
weixin_43914798的博客
05-14 7891
简介 Flink CDC： ​ 解决了传统数据库实时同步的痛点， 该技术抛弃了其他第三方组件（例如Kafka等），能够实时读取Mysql master节点全量和增量数据，能够捕获所有数据的变化，同时它完全与业务解耦，运维也及其简单。具体介绍请参考：Flink_CDC搭建及简单使用 及 flink-cdc-connectors。 Apache Doris： 它是一个现代化的MPP分析型数据库产品。仅需亚秒级响应时间即可获得查询结果，有效地支持实时数据分析。Apache Doris的分布式架构非常
Flink CDC案例：MySQL到Doris实时整库同步（提交flink job jar方式）
最新发布
学亮编程手记
12-17 1533
本示例是借助插件实现通过 Flink 同步mysql数据（读取、插入、修改、删除）到Doris 中存储。最佳实践：使用 Flink Doris Connector 最适合的场景就是实时/批次同步源数据（Mysql，Oracle，PostgreSQL 等）到 Doris，使用 Flink 对 Doris 中的数据和其他数据源进行联合分析，这里介绍Mysql到doris的数据接入方式。
使用 Flink CDC 实现 MySQL 数据,表结构实时入 Apache Doris
希夷的博客
07-12 5102
实现mysql到doris的增量同步，新加入表全量同步，实时修改表结构
FlinkCDC如何实时同步mysql数据到DorisDB/StarRocks
Demon的博客
09-19 3829
FlinkCDC同步mysql数据到DorisDB/StarRocks
FlinkCDC将mysql数据写入Doris
AnameJL的博客
02-24 912
实时数仓
Flink CDC 同步数据到Doris
热门推荐
03-29 7万+
实时同步支持批量同步支持路由，和一些自定义选项支持schema 变更支持自动建表。
SpringBoot整合Flink CDC，实时追踪mysql数据变动
java专栏
07-29 1491
就这样，你成功地将SpringBoot与Flink CDC结合起来，搭建了一套实时追踪MySQL数据变动的系统。每当数据魔盒中发生哪怕一丝波动，你的系统都能即刻感知，仿佛拥有预知未来的能力。继续探索，让数据的河流在你的掌控下流淌得更加自如吧！🌊🔮。
Flink系列之：基于Flink CDC构建MySQL和Postgres的Streaming ETL
zhengzaifeidelushang的博客
10-24 1681
该命令将以 detached 模式自动启动 Docker Compose 配置中定义的所有容器。你可以通过 docker ps 来观察上述的容器是否正常启动了，也可以通过访问 http://localhost:5601/ 来查看 Kibana 是否运行正常。使用docker-compose快速安装mysql、postgres、elasticsearch、kibana。下载 Flink 1.13.2 并将其解压至目录 flink-1.13.2。
flink-cdc同步mysql到doris建设数据仓储最佳实践
AlaiaCodeingLife
12-04 1019
当前需要搭建数据仓储，横向对比了多个数据库最终选定doris，正常的单表，多表数据同步已经完成开发。但是单全量表结构同步还是没有完成，发现flink有这个功能，现在进行使用。
使用Flink CDC实时监控MySQL数据库变更
北尘
06-23 990
Flink CDC（Change Data Capture）是一种强大的工具，可以帮助我们实时捕获数据库的变更，并进行处理。本文将介绍如何使用Flink CDC从MySQL数据库中读取变更数据，并将其打印到控制台。通过上述步骤，我们可以使用Flink CDC实时监控MySQL数据库的变更，并将变更数据以JSON格式打印出来。将Debezium源函数添加到Flink环境中，生成一个数据流，并将数据流中的数据打印到控制台。为了确保作业的容错性和状态恢复，我们需要启用检查点，并设置作业的并行度。
使用Flink-SQL client通过JDBC操作mysql表
qq_37969476的博客
05-21 2245
1 官网下载Flink 1.14.4版本 2 移动到 /opt/module/ cd /opt/module/ tar -zxvf flink-1.14.4-bin-scala_2.11.tgz 3 下载mysql驱动包 和 flink连接mysql的jar包 cd /opt/module/flink-1.14.4/lib wget https://repo.maven.apache.org/maven2/org/apache/flink/flink-connector-jdbc_2.11/1.14.
40分钟500GB！轻松将MySQL数据同步到Doris
云原生智能数据管理平台
08-25 2215
随着数据分析在业务决策中变得日益重要，数据实时同步和分析成为企业提升竞争力的关键。MySQL 作为广泛使用的关系型数据库，其数据存储丰富，但无法满足大规模数据分析和高并发查询的需求。而 Doris 作为一款专为大数据分析设计的分布式数据仓库，具有高性能、可扩展的特点，其优异的数据处理能力也在行业内广受关注。
Doris：MySQL数据同步到Doris的N种方式
m0_37559973的博客
11-07 8147
通过编程方式，利用jdbc读取mysql中的数据，然后可以通过jdbc或者Stream Load方式插入数据到doris中。当mysql与doris服务之间无法通过网络互联时，可以通过将mysql数据导出成csv文件，然后再在doris服务器导入csv文件的方式进行同步数据。将mysql导出的csv文件上传到doris服务器之后，可以通过Stream Load和MySQL Load两种方式导入数据进doris数据库中。修改fe和be配置文件，指定jdbc_drivers_dir目录。开启服务端导入功能。
Doris使用手册以及与Mysql差异整理
没有简介
09-30 2234
常用于加速分析，原理是通过索引确定不满足 WHERE 条件的数据块，跳过这些不满足条件的数据块，只读取可能满足条件的数据块并再进行一次逐行过滤，最终得到满足条件的行。上述索引中，前缀索引和 ZoneMap 索引是 Apache Doris 自动维护的内建智能索引，无需用户管理，而倒排索引、BloomFilter 索引、NGram BloomFilter 索引则需要用户自己根据场景选择，手动创建、删除。数据库索引是用于查询加速的，为了加速不同的查询场景，Apache Doris 支持了多种丰富的索引。
Apache Doris 基础 -- 数据表设计（使用AUTO_INCREMENT）
chinusyan的专栏
06-04 1745
Apache Doris 基础 -- 数据表设计（使用AUTO_INCREMENT）
DW集训营数据库Mysql梳理[五]
成功唯有积累，没有奇迹。
03-03 667
(3月4号之前将内容补完) 学习内容 数据导入导出 (见附件) 将Excel文件导入MySQL表 MySQL导出表到Excel文件 作业 项目七: 各部门工资最高的员工（难度：中等） 创建Employee 表，包含所有员工信息，每个员工有其对应的 Id, salary 和 department Id。 ±—±------±-------±-------------+ | Id | Name | ...
Flink CDC可执行包：实现MySQL到Doris的实时数据同步
1. Flink CDC: Flink CDC是基于Apache Flink的一个组件，可以监听和捕获数据库中的数据变更，并能够实现数据的实时同步。它支持多种数据库，包括MySQL，并能够同步到各种目标系统，比如Doris。 2. Apache Flink: ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值