对比下 datax 的 OceanBase/MYSQL 不同数据同步方案的效率差异 || 聊聊参数 rewriteBatchedStatements

最新推荐文章于 2024-04-29 15:25:00 发布
最新推荐文章于 2024-04-29 15:25:00 发布
阅读量1.8k 收藏
点赞数
分类专栏： 源码阅读 文章标签： mysql 数据库 中间件
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/MichaelLi916/article/details/122730217
版权

对比下 datax 的 OceanBase/MYSQL 不同数据同步方案的效率差异 || 聊聊参数 rewriteBatchedStatements

大家好，我是明哥！

1. 聊聊信创与 Oceanbase 数据库

熟悉金融行业的小伙伴们大都知道，银行券商基金公司保险公司等金融行业的中大型企业，都在积极响应国家号召，高举信创的大旗，从服务器/操作系统/数据库/中间件等软件生态的方方面面，探索国产化的各种可能方案。

其中在数据库层面，我司目前推出的方案主要有三个：

  • 对接蚂蚁的 Oceanbase；
  • 对接 PingCAP的 Tidb;
  • 对接我司的 LightDb;

以上三种方案，目前我司在不同券商都有一些落地方案。

2. 聊聊 datax 的 Oceanbase 数据同步方案

不管客户选用哪种信创数据库的方案，不可避免的一个话题都是数据集成/数据同步，目前我司使用最多的一个方案是基于阿里开源的数据集成方案 datax 二次开发而来

最低0.47元/天 解锁文章
明哥的IT随笔
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
关于 MySQL JDBC rewriteBatchedStatements使用的一些注意事项
德尼的博客
01-16 2396
以下操作基于 JDK1.8 ，以及 JDBC 5.1.48完成。 前言 在 MySQL JDBC 中，批操作的提交默认是逐条进行的。而在链接中加入以下参数，会把多条语句合并成一条提交。当 SQL 语句累积到一定数量（由数据库可接受的最大数据包大小决定），再一次性提交到数据库，减少了与数据库的交互次数，大大提高了效率。 rewriteBatchedStatements = true 使用注意事...
数据迁移：使用datax从mysql迁移到OceanBase
zibuyu886的博客
12-27 1957
1. 工具准备 mysqldump可以使用mysql自带的mysqldump。datax需要下载并编译。编译datax需要maven，使用maven需要java环境，所以。。。 1.1 安装openjdk yum install java-1.8.0-openjdk -y yum install java-1.8.0-openjdk-devel.x86_64 -y 1.2 部署maven 从Apache官网下载：https://maven.apache.org/download.cgi wget http
DataX，数据同步工具，亲测真香
最新发布
nhb687096的博客
04-29 634
DataX 是阿里云DataWorks数据集成 的开源版本，主要就是用于实现数据间的离线同步。DataX 致力于实现包括关系型数据库（MySQL、Oracle 等）、HDFS、Hive、ODPS、HBase、FTP 等各种异构数据源（即不同的数据库）间稳定高效的数据同步功能。为了解决异构数据源同步问题，DataX 将复杂的网状同步链路变成了星型数据链路，DataX 作为中间传输载体负责连接各种数据源；当需要接入一个新的数据源时，只需要将此数据源对接到 DataX，便能跟已有的数据源作为无缝数据同步。
利用DataX工具，实现MySQL与OceanBase的数据同步实践
OceanBase分布式数据库的博客
04-10 873
DataX 是阿里云的开源版本，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS, databend 等各种异构数据源之间高效的数据同步功能
记DataX-datax_v202209:oceanbasev10writer版本号比较问题导致写入OceanBase3.2.3.0报错：java.lang.NumberFormatException
WistWill的博客
10-25 1765
Error:使用DataX中oceanbasev10writer插件向OceanBase3.2.3.0中写数据报错：java.lang.NumberFormatException: multiple points 源码分析、源码调试、源码问题修复、本地调试DataX
迁移 MySQL 数据到 OceanBase 集群（使用mysqldump、datax等工具）
转角遇到癫古的博客
02-16 1499
迁移 MySQL 数据到 OceanBase 集群（使用mysqldump、datax等工具）
datax实战-mysql同步数据到hive
01-07
{ job: { setting: { speed: { channel: 1 }, errorLimit: { record: 0, percentage: 0.02 } }, content: [ { reader: {
datax插件|clickhouse读写插件|同步mysql,oracle等数据到clickhose中或者反向同步|2020修正版
08-01
《DataX ClickHouse读写插件：MySQL、Oracle到ClickHouse的数据同步与反向同步实践》 DataX作为阿里巴巴开源的一款高效、稳定、强大的数据同步工具，广泛应用于大数据生态中的数据迁移任务。针对ClickHouse这款高...
基于 DataX 开发的快速同步 MySQL 数据至 HDFS 上的工具.zip
03-20
标题中的“基于 DataX 开发的快速同步 MySQL 数据至 HDFS 上的工具”指的是一个利用 DataX 框架开发的实用程序，该程序能够高效地将存储在 MySQL 数据库中的数据迁移或实时同步到 Hadoop 分布式文件系统（HDFS）上。...
datax数据从hive导入mysql数据缺失解决
01-18
datax数据从hive表导入mysql表,数据缺失解决
DataX数据的迁移（MySQL、HDFS，Hive）
04-12
1.将Mysql中的数据迁移到Hdfs文件系统中，然后通过Hive加载HDFS文件系统中的数据值 2.将Hive中的数据迁移到指定Mysql数据库中 ...执行语句：python /opt/module/datax/bin/datax.py /opt/module/datax/job/xxx.json
datax从DB2抽取到OceanBase
星空下的华尔兹
09-16 1110
DataX实现DB2到OceanBase DataX实现DB2到OceanBase 环境准备 一、Datax 处理 Datax源码进行打包时，确保有配置rdbmsreader和rdbmswriter ,确保包里有 db2jcc4.jar ，打包完成后上传服务器进行环境配置，能够执行 Python datax.py test.json 二、json 配置 test.json { "job": { "setting": { "speed": {
基于DataX迁移MySQL到OceanBase集群
IT邦德
03-15 2330
本文详细介绍了从MySQL8.0版本向OceanBase4.2迁移数据的详细过程
迁移 MySQL 数据到 OceanBase 集群(mysqldump+datax)
ChunkWen的博客
03-12 1084
操作系统：redhat7.9mysql数据库版本：5.7.26oceanbase集群版本：3.1.0。
JDBC mysql url rewriteBatchedStatements参数影响 批量操作性能
qaz7883542的博客
01-18 1242
JDBC 进行批量操作数据库的时候 url需要添加参数rewriteBatchedStatements=true local.mysql.url=jdbc:mysql://127.0.0.1:3306/test?autoReconnect=true&rewriteBatchedStatements=true&useUnicode=true&characterEncoding...
如何使用 DataX 从 PostgreSQL 同步数据到 OceanBase
专注数据库、大数据领域干货分享，用严谨的数据技术广交天下朋友。
08-24 1518
最后总结一下，本文通过一个简单的示例，演示了如何从 PostgreSQL 数据库，使用 DataX 将数据同步到 OceanBase，整体上来看最重要的就是 DataX 配置文件这一步。可以从各种数据源同步数据到 OB，并且性能也很可观，我还么有做同步性能测试演示，其实 DataX 在数据同步中的效率还是蛮高的。全程黑屏界面不友好，另外需要一个个的表进行定义，比较麻烦。当然如果您有开发经验，完全可以通过自行开发实现自动化操作。最后的最后，希望我分享的文章对您有用处，欢迎多多关注并讨论。
DataX的优化和性能调优技巧
互联网知识分享
11-28 1046
DataX是阿里巴巴集团开源的一款支持多种数据源的数据同步工具，其优化和性能调优对于提高数据同步效率至关重要。本章将介绍DataX的优化和性能调优技巧，包括数据源选择、并发配置、任务调度等方面的优化方法。
datax优化之reader提速-详细经历
热门推荐
cclovezbf的博客
12-09 2万+
首先说明下，个人认为reader提速最重要的一点就是切分任务即split这块 背景：一直用datax从oracle到hive数据，一般是1w-2w条/s也凑合用了，但是最近导DM_F_REV_FULL_LIFE_CYCLE_IMS表 该表根据月在hive分区，每个分区数据在200w-1000w左右，数据量也不算特别大但是速度只有4M/s 速度不到7000条/s, { "job":{ "setting":{ "speed":{ "c
总结：在Linux上通过datax同步Oracle数据到tidb上（包含Linux上部署oracle，tidb，mysql）
qq_44767605的博客
12-29 776
datax mysql oracle tidb
datax 持续数据同步_使用 DataX 将 Hive 与 MySQL 中的表互导
05-24
DataX 是阿里巴巴集团开源的一款数据同步工具，它支持多种数据源之间的同步，包括 Hive、MySQL、Oracle 等常见关系型数据库以及 HDFS、FTP 等非关系型数据源。下面介绍如何使用 DataX 将 Hive 和 MySQL 中的表互导。 首先需要在本地和远程服务器上安装好 DataX。然后创建一个名为 job.json 的配置文件，内容如下： ``` { "job": { "content": [ { "reader": { "name": "hdfswriter", "parameter": { "path": "/user/hive/warehouse/myhive.db/myhive_table", "defaultFS": "hdfs://localhost:9000", "fileType": "orc", "column": [ "col1", "col2", "col3" ] } }, "writer": { "name": "mysqlwriter", "parameter": { "url": "jdbc:mysql://localhost:3306/test", "username": "root", "password": "123456", "table": "mysql_table", "column": [ "col1", "col2", "col3" ] } } } ], "setting": { "speed": { "channel": "3" } } } } ``` 该配置文件定义了一个数据同步任务，将 Hive 中的 myhive_table 表导入到 MySQL 中的 mysql_table 表中。其中，hdfswriter 和 mysqlwriter 分别表示数据源和目标源的类型，parameter 参数中定义了数据源和目标源的详细信息。column 参数定义了需要同步的列。 执行以下命令启动 DataX 任务： ``` python datax.py job.json ``` 该命令会按照配置文件中的定义开始数据同步任务。在数据量较大的情况下，可以通过修改 job.json 中的 speed 参数来调整数据同步的速度，以避免对源和目标服务器的负载过大。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

明哥的IT随笔

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值