【Apache Doris】如何一键实现MySQL万表整库同步？

已于 2024-01-13 11:42:47 修改
阅读量2.5k 收藏 29
点赞数 42
分类专栏： Apache Doris 大数据 文章标签： apache 大数据 数据库
于 2023-11-24 21:28:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ith321/article/details/134327503
版权

【Apache Doris】如何一键实现MySQL万表整库同步？

一、 环境信息

1.1 硬件信息

  1. CPU ：48C
  2. CPU型号：x86_64
  3. 内存 ：185GB

1.2 软件信息

  1. 系统 ：CentOS
  2. Apahce Doris版本 ：2.0.2
  3. Mysql版本：5.7.36
  4. Flink版本：1.17.1
  5. Flink-Doris-Connector版本：1.5

二、 功能介绍

在这里插入图片描述

Mysql万表存量+增量同步至Doris/SelectDB，主要是通过Flink计算引擎、基于Mysql CDC Connector和Doris社区研发的Flink Doris Connector 实现的。

无需提前建表，当Flink任务启动后，Flink Doris Connector 会自动识别对应的Doris表是否存在，不存在则自动创建Doris表，如果存在则直接启动同步任务。

并且能够支持Mysql源表Schema增删列自动变更至Doris，不需要手动变更Doris表的Schema或重启Job，便利之极。

三、 前提概要

3.1 安装部署

Doris/Flink/Mysql的安装部署流程可以根据版本自行Google。

  1. Doris下载地址：Doris下载地址
  2. Flink下载地址：Flink下载地址
  3. MySQL包下载地址：MySQL包下载地址

3.2 JAR包准备

在这里插入图片描述

3.2.1 数据源

Flink源端读取MySQL数据的连接器，可通过该地址下载flink-sql-connector-mysql-cdc-2.4.1.jar：
mysql-cdc-2.4.1下载地址

3.2.2 目标源

Flink目标端写Doris的Flink Doris Connector ，可通过该地址获取：
flink-doris-connector下载地址

3.3 脚本模版

./bin/flink run \
    -Dexecution.checkpointing.interval=10s \
    -Dparallelism.default=1 \
    -c org.apache.doris.flink.tools.cdc.CdcTools \
    lib/flink-doris-connector-1.17-1.5.0-SNAPSHOT.jar \
    mysql-sync-database \
    --database doris_db \
    --mysql-conf hostname= 127.0.0.1 \
    --mysql-conf port= 3306 \
    --mysql-conf username= root \
    --mysql-conf password= root \
    --mysql-conf database-name= mysql_db \
    --mysql-conf scan.startup.mode=initial \
    --including-tables "test.*" \
    --sink-conf fenodes= 127.0.0.1:8030 \
    --sink-conf username=root \
    --sink-conf password=root \
    --sink-conf jdbc-url=jdbc:mysql://127.0.0.1:9030 \
    --sink-conf sink.label-prefix=label \
    --table-conf replication_num=1 \
  • –job-name Flink任务名称, 非必需。
  • -Dexecution.checkpointing.interval checkpoint时间间隔，实际task中是需要checkpoint后才执行数据写入
  • –database 同步到Doris的数据库名。
  • –mysql-conf MySQL CDCSource 配置，例如–mysql-conf hostname=127.0.0.1 ，可以在这里查看 所有配置MySQL-CDC，其中hostname/username/password/database-name 是必需的。
  • –including-tables 需要同步的MySQL表，可以使用"|" 分隔多个表，并支持正则表达式。 比如–including-tables “test.*” 就是同步所有以test开头的表。
  • –sink-conf Doris Sink 的所有配置，可以在这里查看完整的配置项。
  • –table-conf Doris表的配置项，即properties中包含的内容。 例如 --table-conf replication_num=1

四、快速体验

4.1 单表同步

例如单表同步MySQL中Star Schema Benchmark的part零件信息表，共1600000条记录。

./bin/flink run \
    -Dexecution.checkpointing.interval=10s \
    -Dparallelism.default=1 \
    -c org.apache.doris.flink.tools.cdc.CdcTools \
    lib/flink-doris-connector-1.17-1.5.0-SNAPSHOT.jar \
    mysql-sync-database \
    --database ssb_test \
    --mysql-conf hostname=172.21.16.12 \
    --mysql-conf port=3306 \
    --mysql-conf username=root \
    --mysql-conf password=root \
    --mysql-conf database-name=ssb_test \
    --mysql-conf scan.startup.mode=initial \
    --mysql-conf scan.incremental.snapshot.chunk.key-column=ssb_test.part:p_partkey \
    --including-tables "part" \
    --sink-conf fenodes=127.0.0.0:8030 \
    --sink-conf username=root \
    --sink-conf password=root \
    --sink-conf jdbc-url=jdbc:mysql://127.0.0.0:9030 \
    --sink-conf sink.label-prefix=label \
    --table-conf replication_num=1 \

在FLINK_HOME执行上述命令后，WEB UI中会新增相应Job。

在这里插入图片描述

查看taskmanager日志可以发现，task会先对mysql主键做切分，然后再根据ckp的时间间隔按批写入commit（默认2pc提交）。

在这里插入图片描述

默认环境10秒ckp下，单并发写入只需3min左右即可同步完160W数据，且单副本数据压缩率高达90%！
在这里插入图片描述

4.2 整库同步

4.2.1 数据准备

基于【单表同步】的part零件信息表，新建一个db、然后copy几张相同表进行整库同步体验。

-- 创建测试库
create database ssb_test_part_all;

-- 创建测试表 part01~3
CREATE TABLE `part03` (
  `p_partkey` int(11) DEFAULT NULL,
  `p_name` varchar(23) DEFAULT NULL,
  `p_mfgr` varchar(7) DEFAULT NULL,
  `p_category` varchar(8) DEFAULT NULL,
  `p_brand` varchar(10) DEFAULT NULL,
  `p_color` varchar(12) DEFAULT NULL,
  `p_type` varchar(26) DEFAULT NULL,
  `p_size` int(11) DEFAULT NULL,
  `p_container` varchar(11) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8


-- 数据写入 part01~3
insert into ssb_test_part_all.part01
select * from ssb_test.part

数据准备完成，如下图所示。

在这里插入图片描述

4.2.2 整库体验

整库同步MySQL中ssb_test_part_all库中的所有表，共1600000*3条记录。

./bin/flink run \
    -Dexecution.checkpointing.interval=10s \
    -Dparallelism.default=1 \
    -c org.apache.doris.flink.tools.cdc.CdcTools \
    lib/flink-doris-connector-1.17-1.5.0-SNAPSHOT.jar \
    mysql-sync-database \
    --database ssb_test_part_all \
    --mysql-conf hostname=127.0.0.0.12 \
    --mysql-conf port=3306 \
    --mysql-conf username=root \
    --mysql-conf password=root \
    --mysql-conf database-name=ssb_test_part_all \
    --mysql-conf scan.startup.mode=initial \
    --mysql-conf scan.incremental.snapshot.chunk.key-column=ssb_test_part_all.part01:p_partkey,ssb_test_part_all.part02:p_partkey,ssb_test_part_all.part03:p_partkey \
    --including-tables ".*" \
    --sink-conf fenodes=127.0.0.0:8030 \
    --sink-conf username=root \
    --sink-conf password=root \
    --sink-conf jdbc-url=jdbc:mysql://127.0.0.0:9030 \
    --sink-conf sink.label-prefix=label \
    --table-conf replication_num=1 \

在FLINK_HOME执行上述命令后，WEB UI中会新增相应整库同步Job。
在这里插入图片描述

同步完成结果比对，不仅简易高效，且单副本数据压缩率高达90%+！

在这里插入图片描述

五、常见问题

5.1 Mysql通信异常

可能是因为mysql信息填写错误或驱动包不兼容导致。

在这里插入图片描述

5.2 MySQL无Key同步异常

mysql源表没有设置主键，可以在脚本中指定–mysql-conf scan.incremental.snapshot.chunk.key-column=database.table:column,database.table1.column… 解决。

在这里插入图片描述

5.3 CKP ON HDFS连接异常

使用hadoop作为checkpoint时报如下异常：

Caused by: java.net.ConnectException: Call From hadoop1/ip to hadoop1:8020 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused

这类异常一般是由于网络原因或端口配置错误导致，可以先进行telnet ip port看是否通，再进行调整处理。

在这里插入图片描述

5.4 CKP ON HDFS权限异常

使用默认root跑脚本时，如果出现如下异常：

Caused by: org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, inode="/":hadoop:supergroup:drwxr-xr-x

这类异常一般切换至对应用户或者授权即可，这个case可以切换至hadoop用户起 或 将root用户加到hdfs用户组中即可。

在这里插入图片描述

5.5 官方【Flink Doris Connector】QA

其它问题可以参考 官方【Flink Doris Connector】QA 或 私 或 在开源社区群交流。
在这里插入图片描述

【Apache Doris】一键实现万表MySQL整库同步 | 快速体验 分享至此结束，体验过程中若遇到问题欢迎留言交流。最后，欢迎关注Flink Forward Asia 2023，Doris Committer 吴迪分享：《Flink 到 Doris 实时写入实践：基于 Flink CDC 构建更实时高效的数据集成链路》

一臻数据
关注
  • 42
    点赞
  • 踩
  • 29
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
apache-doris-1.0.0-incubating-bin.tar.gz
05-05
Apache Doris（apache-doris-1.0.0-incubating-bin.tar.gz）是一个现代MPP分析数据库产品。它可以提供亚秒级查询和高效的实时数据分析。通过它的分布式架构，高达10PB级的数据集将得到很好的支持，易于操作。 Apache...
孵化器-doris：Apache Doris（正在孵化）
02-28
Apache Doris（正在孵化） Doris是用于报告和分析的基于MPP的交互式SQL数据仓库。 它的原始名称是在百度开发的Palo。 捐赠给Apache Software Foundation之后，它更名为Doris。 1.许可证 2.技术 Doris主要集成了Google Mesa和Apache Impala的技术，它基于面向列的存储引擎，并且可以通过MySQL客户端进行通信。 3.用户案例 Doris不仅可以提供高并发的低延迟点查询性能，还可以提供即席分析的高吞吐量查询。 Doris不仅提供批量数据加载，而且还提供近实时的微型批量数据加载。 Doris还提供高可用性，可靠性，容错性和可伸缩性。 Doris的主要功能是简化（开发，部署和使用）以及满足单个系统中的许多数据服务要求（请参阅）。 4.编译安装 当前仅支持Docker环境和Linux OS，例如Ubuntu和Cen
Mysql同步数据到Doris的踩坑过程
luostudent的博客
09-12 1566
seatunnel、datax数据同步工具
Doris整合Mysql
最新发布
qq_70284631的博客
03-04 192
"jdbc_url"="jdbc:mysql://MySQL的地址:MySQL的端口号/MySQL创建的数据库?useCursorFetch=true","driver_url"="http://IP:port/mysql-connector-java-版本号.jar",`mysql表的字段` tinyint(4) NULL,`mysql表的字段` int(11) NULL,"password"="mysql的密码","table" = "mysql的表名","user"="mysql的账户",
更简洁更高效，Doris对比ClickHouse、MySQL、Presto、HBase
u013643074的博客
01-26 1770
介绍构建统一的OLAP（在线分析处理平台）。
Apache Doris 用户案例集
06-05
过去的一年势必是 Apache Doris 在发展历程中有着浓墨重彩的一年，凭借对技术创新的执着与用户体验的追求，Apache Doris 已俘获全球范围内超过 2000 家企业的认可，拥有了极为广泛的用户规模、在企业实时数据分析的多种场景中得到广泛应用，并在广大社区用户和开发者的支持下，一举成为全球数据库和大数据领域最为活跃的开源项目之一。 为了帮助更多人更好地使用 Apache Doris ，我们从过去一年间 Apache Doris 在互联网、金融、物流、零售等众多行业的用户应用实践中，精心挑选出更具代表性和更具启发意义的最佳实践，并收录在《Apache Doris 用户案例集》中。 20+ 万字技术干货，赋能企业构建高性能实时数据仓库，欢迎大家下载阅读！
使用 Flink CDC 实现 MySQL 数据实时入 Apache Doris
02-27 2372
Apache Doris 代码仓库地址：apache/incubator-doris 欢迎大家关注加星 本文通过实例来演示怎么通过Flink CDC 结合Doris的Flink Connector实现从Mysql数据库中监听数据并实时入库到Doris数仓对应的表中。 1.什么是CDC CDC 是变更数据捕获（Change Data Capture）技术的缩写，它可以将源数据库（Source）的增量变动记录，同步到一个或多个数据目的（Sink）。在同步过程中，还可以对数据进行一定的处理，例如分组（GRO
Doris：MySQL数据同步到Doris的N种方式
m0_37559973的博客
11-07 4365
通过编程方式，利用jdbc读取mysql中的数据，然后可以通过jdbc或者Stream Load方式插入数据到doris中。当mysql与doris服务之间无法通过网络互联时，可以通过将mysql数据导出成csv文件，然后再在doris服务器导入csv文件的方式进行同步数据。将mysql导出的csv文件上传到doris服务器之后，可以通过Stream Load和MySQL Load两种方式导入数据进doris数据库中。修改fe和be配置文件，指定jdbc_drivers_dir目录。开启服务端导入功能。
Doris比MySQL快的原因
延宝小白马的博客
08-03 2268
在数据存储和数据分析领域，MySQL和Doris是比较流行的数据库管理系统的代表。在如今的大数据时代，数据量和数据分析的速度是很重要的。在数据分析和数据处理中，Doris比MySQL快，这个问题一直是许多人关心的问题。可以看出，Doris具有列式存储、分布式计算、并行多线程等特点。正是这些特点，让Doris在数据分析中表现出更高的性能，相比MySQL更加快速。由于实际使用场景的不同，选择MySQL还是Doris，需要根据个人和业务需求综合考虑。
apache doris+cannal+mysql实践
weixin_43316101的博客
12-07 1842
使用canal同步mysql数据到doris参考：官方快速开始下载安装包：https://github.com/alibaba/canal/releases 或者 wget https://github.com/alibaba/canal/releases/download/canal-1.1.5/canal.deployer-1.1.5.tar.gz 这里我只安装服务端，可以满足场景，客户端有机会再探索 下载 canal, 访问 release 页面 , 选择需要的包下载, 如以 1.1.5 版本为例解
DataX（MySQL同步数据到Doris）
悦上心灵的博客
05-16 7134
Apache Doris 为分析而生
DataX(MySQL同步数据到Doris)
eagle89的专栏
09-06 2054
DataX(MySQL同步数据到Doris)
apache-doris-1.0.0-incubating-src.tar.gz
05-05
Apache Doris源码（apache-doris-1.0.0-incubating-src.tar.gz）是一个现代MPP分析数据库产品。它可以提供亚秒级查询和高效的实时数据分析。通过它的分布式架构，高达10PB级的数据集将得到很好的支持，易于操作。 ...
【Doris】MySQL数据同步至Doris问题记录
ZORO的成长记录
02-28 2132
最近接到一个数据同步的任务，需要基于 DataInLong 将数据从 MySQL 同步至 Doris 中。
mysql建表语句转为doris建表语句
2301_79755913的博客
01-19 719
mysql同步到doris建表语句批量生成适配doris语法，自动选择key，替换顺序，类型转换，选择数据模型等。
Apache Doris Binlog Load使用方法及示例
锋哥聊DORIS数仓
11-11 1767
Binlog Load提供了一种使Doris增量同步用户在Mysql数据库的对数据更新操作的CDC(Change Data Capture)功能，使用户更方面的完成Mysql数据的导入 注意： 该功能需要在0.15及以后的版本里使用 1. 安装配置 Mysql 安装Mysql 快速使用Docker安装配置Mysql，具体参照下面的连接https://segmentfault.com/a/1190000021523570 如果是在物理机上安装可以参考下面的连接：在 CentOS 7 中安装 MySQ
使用Apache Doris自动同步整个 MySQL/Oracle 数据库进行数据分析
dashujuedu的博客
09-07 2509
Flink-Doris-Connector 1.4.0 允许用户一步将包含数千个表的整个数据库（MySQL或Oracle ）摄取到Apache Doris（一种实时分析数据库）中。通过内置的Flink CDC，连接器可以直接将上游源的表模式和数据同步到Apache Doris，这意味着用户不再需要编写DataStream程序或在Doris中预先创建映射表。
从0到1，streampark同步数据方案之mysql-doris，jar形式（多表）
qq_41066844的博客
10-23 502
以上为服务器需要部署的各种环境，下面是代码部分，当然streampark是支持flinksql同步的，下面是通过flinkcdc jar包形式同步。部署完成如果用默认端口，浏览器输入ip:10000 直接进入streampark登录界面，账号admin，密码streampark。streampark官方的快速开始可查看具体操作步骤，主要就是配置flink版本和集群，连接在上面，不过多描述。2.分别修改fe和be-conf文件夹下的be.conf和fe.conf。1台机器，1个FE 1个BE。
DorisSQL与MySQL函数与语法对照差异篇
huzechen的博客
10-20 3878
1.日期函数 时区.mysql->convert_tz(dt,from_tz,to_tz) doris->CONVERT_TZ(DATETIMEdt,VARCHARfrom_tz,VARCHARto_tz)获取当前的日期，以DATE类型返回.mysql->CURDATE() doris->CURDATE()获得当前的时间,返回datatime类型....
基于 apache doris 的数据仓库平台架构设计
08-26
基于 Apache Doris 的数据仓库平台架构设计如下： 1. 架构模式： - 采用分布式架构模式，将数据仓库划分为多个节点，每个节点可以独立存储和处理数据，同时支持横向扩展，能够处理大规模的数据量和并发请求。 2. 数据存储层： - 使用分布式文件系统（如HDFS）存储数据，数据按照数据表的划分进行存储，支持数据的分片和复制，提高数据的可靠性和可用性。 - 数据以列式存储的方式存储，提高查询效率。 - 支持数据的压缩和索引，降低存储空间和提高查询效率。 3. 元数据管理： - 使用元数据管理系统（如MySQL）存储数据的元信息，包括表结构、分区、数据位置等。 - 元数据管理系统支持水平扩展，保证元数据的一致性和高可用性。 4. 查询引擎： - 使用分布式查询引擎，支持SQL语法，能够高效地执行复杂的数据查询和分析操作。 - 支持预编译和查询优化技术，提高查询性能。 5. 数据加载和导出： - 支持多种方式的数据加载和导出，如批量导入、实时流入、增量导入、导出到外部系统等。 - 支持数据的转换和清洗，提高数据的质量和一致性。 6. 安全性和权限管理： - 支持访问控制，可以对用户和角色进行权限管理，确保数据的安全性和合规性。 - 支持数据加密和身份认证，保护数据的机密性和完整性。 7. 可视化和监控： - 提供用户友好的可视化界面，方便用户管理和操作数据仓库。 - 支持实时监控和告警功能，及时发现和解决系统故障和性能问题。 总之，基于 Apache Doris 的数据仓库平台架构设计具备高可扩展性、高性能和高可靠性的特点，可以满足大规模数据处理和查询的需求，并提供丰富的功能和工具支持，帮助用户实现高效的数据分析和决策。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一臻数据

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值