mysql 日志异构_GitHub - youwozaigithub/mykit-data: 支持插件化、可视化的数据异构框架mykit-data开源啦！支持MySQL到MySQL、MySQL到Ora...

最新推荐文章于 2024-03-29 09:57:13 发布
最新推荐文章于 2024-03-29 09:57:13 发布
阅读量116 收藏
点赞数
文章标签： mysql 日志异构
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_29009971/article/details/113440472
版权

作者及联系方式

作者：冰河

微信：sun_shine_lyz

QQ：2711098650

微信公众号： 冰河技术

项目介绍

支持插件化、可视化的数据异构中间件，支持的数据异构方式如下

MySQL MySQL(增量、全量)

MySQL Oracle(增量、全量)

Oracle MySQL (增量、全量)

Oracle Oracle(增量、全量)

使用步骤

运行系统

下载mykit-data源码。

git clone https://github.com/sunshinelyz/mykit-data

使用Maven编译mykit-data

mvn clean package

运行程序

java -jar mykit-data-starter-xxx.jar

打开系统连接

http://localhost:8888

配置数据同步

添加MySQL8数据库连接器

68747470733a2f2f696d672d626c6f672e6373646e696d672e636e2f32303230313032303231313932323636352e6a7067

添加MySQL5.7数据库连接器

68747470733a2f2f696d672d626c6f672e6373646e696d672e636e2f32303230313032303231313933333334322e6a7067

添加Oracle数据库连接器

68747470733a2f2f696d672d626c6f672e6373646e696d672e636e2f32303230313032303231313934333133382e6a7067

添加后的效果

68747470733a2f2f696d672d626c6f672e6373646e696d672e636e2f32303230313032303231313935343833302e6a7067

配置Oracle全量同步数据到MySQL8

68747470733a2f2f696d672d626c6f672e6373646e696d672e636e2f32303230313032303231323031323938312e6a7067

配置字段的映射关系

68747470733a2f2f696d672d626c6f672e6373646e696d672e636e2f32303230313032303231323033393236372e6a7067

68747470733a2f2f696d672d626c6f672e6373646e696d672e636e2f32303230313032303231323130313335362e6a7067

配置后的效果

68747470733a2f2f696d672d626c6f672e6373646e696d672e636e2f323032303130323032313231313736362e6a7067

配置Oracle增量同步数据到MySQL8

68747470733a2f2f696d672d626c6f672e6373646e696d672e636e2f32303230313032303231323133333633322e6a7067

配置字段映射关系与“配置Oracle数据全量同步到MySQL8”的步骤相同。

配置后的效果

68747470733a2f2f696d672d626c6f672e6373646e696d672e636e2f32303230313032303231323134393331352e6a7067

配置MySQL8全量同步数据到Oracle

68747470733a2f2f696d672d626c6f672e6373646e696d672e636e2f32303230313032303231323230393930372e6a7067

配置字段映射关系与“配置Oracle数据全量同步到MySQL8”的步骤相同。

配置后的效果

68747470733a2f2f696d672d626c6f672e6373646e696d672e636e2f32303230313032303231323232343236392e6a7067

配置MySQL8增量同步数据到Oracle

68747470733a2f2f696d672d626c6f672e6373646e696d672e636e2f32303230313032303231323233393835372e6a7067

配置字段映射关系与“配置Oracle数据全量同步到MySQL8”的步骤相同。

配置后的效果

68747470733a2f2f696d672d626c6f672e6373646e696d672e636e2f32303230313032303231323235343638352e6a7067

配置Oracle全量同步数据到MySQL5.x

68747470733a2f2f696d672d626c6f672e6373646e696d672e636e2f32303230313032303231323535363134342e6a7067

配置字段映射关系与“配置Oracle数据全量同步到MySQL8”的步骤相同。

配置后的效果

68747470733a2f2f696d672d626c6f672e6373646e696d672e636e2f32303230313032303231323631313536332e6a7067

配置Oracle增量同步数据到MySQL5.x

68747470733a2f2f696d672d626c6f672e6373646e696d672e636e2f32303230313032303231323632383239332e6a7067

配置字段映射关系与“配置Oracle数据全量同步到MySQL8”的步骤相同。

配置后的效果

68747470733a2f2f696d672d626c6f672e6373646e696d672e636e2f32303230313032303231323634373835312e6a7067

MySQL5.x全量同步数据到Oracle

68747470733a2f2f696d672d626c6f672e6373646e696d672e636e2f32303230313032303231323731393730302e6a7067

配置字段映射关系与“配置Oracle数据全量同步到MySQL8”的步骤相同。

配置后的效果

68747470733a2f2f696d672d626c6f672e6373646e696d672e636e2f32303230313032303231323733333330302e6a7067

配置MySQL5.x增量同步数据到Oracle

68747470733a2f2f696d672d626c6f672e6373646e696d672e636e2f32303230313032303231323734373530302e6a7067

配置字段映射关系与“配置Oracle数据全量同步到MySQL8”的步骤相同。

配置后的效果

68747470733a2f2f696d672d626c6f672e6373646e696d672e636e2f32303230313032303231323830333934302e6a7067

最终配置效果

68747470733a2f2f696d672d626c6f672e6373646e696d672e636e2f32303230313032303231323833363636342e6a7067

68747470733a2f2f696d672d626c6f672e6373646e696d672e636e2f32303230313032303231323834383230382e6a7067

启动任务

68747470733a2f2f696d672d626c6f672e6373646e696d672e636e2f323032303130323032313239303137382e6a7067

同步数据产生的日志

68747470733a2f2f696d672d626c6f672e6373646e696d672e636e2f323032303130323032313239313136312e6a7067

注意事项

以日志形式增量同步MySQL数据到Oracle数据库时，需要开启MySQL的binlog日志。

扫一扫关注微信公众号

你在刷抖音，玩游戏的时候，别人都在这里学习，成长，提升，人与人最大的差距其实就是思维。你可能不信，优秀的人，总是在一起。

扫一扫关注冰河技术微信公众号

68747470733a2f2f696d672d626c6f672e6373646e696d672e636e2f32303230303930363031333731353838392e706e67

孙圈圈
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
[数据库测试]强烈推荐一个python ODBC数据源插件，可支持Oracle，Db2，Mysql，Sql-server以及各种数据库版本，附例子和测试程序
Tony 's Blog 只为精进而生
11-07 6166
今天有很多时间，再与大家分享一个最近使用的到第三方控件，个人认为对设计一些数据库测试脚本非常有用。首先，请访问这个地址：http://www.egenix.com/products/python/mxODBC/，此控件是一个ODBC的通用插件。这为我们通过Windows系统，制作各种测试脚本提供很好操作平台。DB-API:http://www.python.org/dev/peps/pep
探秘高效数据处理利器：MyKit-Data
最新发布
gitblog_00022的博客
04-02 329
探秘高效数据处理利器：MyKit-Data 项目地址:https://gitcode.com/binghe001/mykit-data MyKit-Data 是一个强大的开源数据处理工具包，旨在简化和加速Java开发者在大数据领域的工作。该项目集成了多种实用的数据操作功能，无论是数据清洗、转换还是分析，都能提供简洁而高效的解决方案。 技术概览 MyKit-Data 基于 Java 语言开发，兼容性...
【mykit-data】 数据库同步工具
DK_Allen的博客
12-10 1213
【mykit-data】 数据库同步工具
mklearn:我的scikit-learn，mykit-learn的实现。 DATA 558Spring发布的代码
05-15
Mykit学习 我的scikit-learn，mykit-learn的实现。 Mklearn是我的线性支持向量机模型的实现。 它的实现与scikit-learn相似，使用类和fit函数等。 用法 确保Python拥有正确的模块路径，只需按以下步骤导入： import mklearn import multiclass mklearn . myLinearSVC (...) multiclass . Multiclass (...) 执行 线性支持向量分类器 mklearn.py包含线性支持向量分类器的实现。 类myLinearSVC的实例可以使用线性SVC拟合单个二进制分类器模型。 该类的结构与scikit-learn的约定相似，在该约定中，使用超参数声明了该类，并.fit()方法来训练该模型。 多类别分类 multiclass.py文件支持多类分类。 它包含Multiclass对象和
面试10月15日 数据库（一）
qq_36414739的博客
10-15 479
1、什么是数据库管理系统（DBMS） 并举例一些常见的 RDBMS: 关系型数据库管理系统 比较适合于,安全级别要求高的数据以及关系较复杂的数据 NoSQL:非关系型数据库管理系统 适合于高性能存取数据,一般是配合RDBMS进行使用的 针对大数据处理分析,分布式架构更加擅长 RDBMS ： MySQL 、Oracle、MSSQL（SQL Server）、PG NoSQL：Not Only SQL 键-值（key-value）：Redis, memcached 文档（document）：Mon
github-data-mining：：1234：freeCodeCamp贡献者数据的数据分析和可视化
02-04
总的来说，这个项目展示了如何结合`GitHub API`、`R`语言和数据可视化技术来探索开源社区的动态。通过这样的分析，我们可以深入了解`freeCodeCamp`的生态系统，发现活跃的贡献者、最受欢迎的项目，以及社区的增长...
github.com/go-sql-driver/mysql
09-16
在建立连接后，你可以执行SQL查询，比如创建表、插入数据、更新数据或删除数据。`database/sql`包提供了一系列的方法，如`Query()`, `QueryRow()`, `Exec()`等，用于执行不同的SQL操作。例如，执行一个简单的SELECT...
react-visual-data::party_popper: 基于 reactjs 开发的可视化项目实战
04-16
:party_popper: 基于 reactjs 开发的可视化项目实战 亮点 ：自由拖拽大屏 ：自适应排列布局 ：schema 设计模式 ，欢迎提交～ 调试 > git clone https://github.com/Aaron52077/react-visual-data.git > npm i > npm ...
github-to-mysql：将GitHub数据（问题，标签等）同步到MySQL数据库
02-04
将GitHub数据（问题，标签等）同步到MySQL数据库。 特征： 同步问题并拉取请求 支持多页结果 同步标签 同步里程碑 入门 克隆存储库或并解压缩 运行composer install 复制.env.dist以创建.env文件 通过运行./...
curseforge-analytics-viewer：:chart_increasing:可视化CurseForge分析导出的数据
02-05
可视化浏览器中的CurseForge Analytics导出 住 入门 先决条件 所需软件 纱线或npm 节点JS 正在安装 在项目的根目录下打开一个终端 运行yarn或npm i以安装软件包 运行yarn start或npm start启动应用程序 部署方式 在...
mykit-db-sync:mykit中分离出的强大的数据库同步工具——mykit-db-sync。 基于java开发的功能强大、配置灵活的数据库同步工具，目前支持MySQL、SQL Server和Oracle数据库的同步，在实际应用场景中，我们经常需要定期将一个数据库的数据同步到另外一个数据库中，常见的一种做法是将源数据库的数据dump为sql文件，然后到目标数据库执行sql文件完成数据库的导入，但是这种方法至少存在以下问题： - 需要手工操作，效率低 - 当涉及数据表较多时，容易遗漏、出错 -
05-25
作者及联系方式 作者：冰河 微信：sun_shine_lyz QQ：2711098650 微信公众号： 冰河技术 推荐使用 mykit-db-sync mykit中分离出的强大数据数据库同步工具——mykit-db-sync 基于java开发的功能强大、配置灵活的数据库之间同步工具，和数据产生器一样，均是前段时间因为项目需要编写的小工具，在实际应用场景中，我们经常需要定期将一个数据库的数据同步到另外一个数据库中，常见的一种做法是将源数据库的数据dump为sql文件，然后到目标数据库执行sql文件完成数据库的导入，但是这种方法至少存在以下问题： 需要手工操作，效率低 当涉及数据表较多时，容易遗漏、出错 如果要定期同步，操作人容易忘记 难以应付频繁变更数据表或者字段 针对以上存在的问题，将珍贵人力从这种重复、无意义的工作中解脱出来，特意开发这个小工具，目前源数据库为任何支持sql语法的数据库，
贼好用，冰河开源了这款精准定时任务和延时队列框架！
m0_60567908的博客
03-18 879
包含最全MySQL、Redis、Java并发编程等等面试题和答案，用于参考~
曝光一位P8级别的技术大佬！！
weixin_41385912的博客
08-04 282
今天，为大家推荐一位我的好朋友，冰河，大厂高级技术专家，《海量数据处理与大数据技术实战》、《MySQL技术大全：开发、优化与运维实战》技术畅销书作者。冰河 从一名普通程序员，短短几年时间，...
探索MyKit-Data：一款高效的数据处理工具
gitblog_00090的博客
03-29 372
探索MyKit-Data：一款高效的数据处理工具 项目地址:https://gitcode.com/sunshinelyz/mykit-data 项目简介 MyKit-Data 是一个由sunshinelyz开发并维护的开源项目，旨在提供一套强大且易用的数据处理和分析工具集。该项目基于Java语言，致力于简化日常数据操作，无论是数据清洗、转换还是分析，都能在这个平台上得到有效的支持。 技术分析 M...
.net可视化表单设计工具
力软低代码 - 快速开发平台，助力简单开发！
01-03 435
LeaRun.net可视化表单设计工具开发出的表单是一个可以完全由前端驱动、后端业务接入的产品，其开发过程采用组件模块化设计，利用现有的设计资源、组件资源封装成例如表单输入组件、表单单选组件等，达到表单逻辑与组件的有机结合，再根据驱动核心返回的表单字段的类型，输出表单页面。表单整体套件虽然是一套标准化的，但也可以灵活拔插适配，比如表单多选框组件可以根据项目需求，对项目整体页面在前端拔插式配置成个性化的表单组件。
【基础篇】Navicat让MySQL数据库可视化
weixin_54667422的博客
04-28 7737
Navicat 是一套快速、可靠并价格适宜的数据库管理工具, 适用于三种平台: Windows、mac OS 及 Linux。 可以用来对本机或远程的 MySQL、SQL Server、SQLite、Oracle 等数据库进行管理及开发。 专门为简化数据库的操作而设计。 它的设计符合数据库管理员、开发人员及中小企业的需求。 Navicat 是一个数据库图形化客户端软件, 让你可以以安全并且简单的方式对数据库进行操作。
mykit-db-sync之——数据库同步工具正式开源
冰河的专栏
09-16 1万+
转载请注明出处：https://blog.csdn.net/l1028386804/article/details/82731142 重磅消息：数据库同步工具mykit-db-sync正式开源 开源地址：https://github.com/sunshinelyz/mykit-db-sync 框架简述 mykit中分离出的强大的数据库同步工具——mykit-db-sync 基于java开发...
我是全网最硬核的高并发编程作者，CSDN最值得关注的博主，大家同意吗？（建议收藏）
热门推荐
冰河的专栏
04-30 1万+
我是全网最硬核的高并发编程作者，CSDN最值得关注博主，全网最硬核的基于可视化的多数据源数据异构中间件作者，也许现在就是，也是不久的将来就是，大家同意吗？
mykit-cache之——分布式缓存插件正式开源
冰河的专栏
08-29 2721
转载请注明出处：https://blog.csdn.net/l1028386804/article/details/82192809 重磅消息——分布式缓存插件mykit-cache正式开源啦！！！ 开源地址：https://github.com/sunshinelyz/mykit-cache 框架简述 mykit架构中独立出来的mykit-cache组件，封装了mykit架构下对于缓存c...
flutter友盟分享_GitHub - zhangruiyu/flutter_umengshare: 集成友盟第三方分享和登陆sdk for flutter，第三方登陆支持qq登陆、微信登陆、微博登...
05-18
此Flutter集成友盟分享的GitHub项目中，使用了友盟SDK的Flutter插件，支持分享到微信、QQ、微博等社交媒体平台，并且支持第三方登录，包括QQ登录、微信登录、微博登录等。开发者只需按照文档中的步骤进行配置，就...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值