- 博客(1)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 并行实时数据同步工具Flish2.0.1发布
CDC（Change Data Capture) 用于满足大数据应用过程中，跟踪数据库中数据变化、实时抽取增量数据供下游系统消费的场景。采用的技术一般有时间戳、触发器、日志跟踪等。其中，利用数据库自身日志进行实时数据复制的产品，因其时效性好、准确度高、对源系统无侵入等特点，在市场上极为受欢迎，Flish即为此类产品，市场上同类产品还包括Canal、Debezium等。Flish具有如下特点：1，功能全 复制类型上，支持数据增量实时复制、指定起点进行历史数据复制。（注：后续版本将支持snapshot复制能力
2022-01-08 16:25:26
556
Flish2.0.1.zip
功能全 支持数据增量实时复制、指定起点进行历史数据复制。2.0版支持MySQL及Oracle。支持TCP、UDP、KAFKA方式输出，输出报文格式为JSON报文。每种输出方式均支持长连接、短连接。支持断点续传。
性能强 延迟短MySQL采用binlog日志，Oracle采用Logminer，时效性高。高并发除传统的单线程复制外，支持按库（DB）或按GROUP多线程并发进行数据复制及分发，处理能力好。
高可用 支持集群部署或Master-Slave部署，以zookeeper为控制器，支持单点故障情况下的自动重续处理。
轻量级 独立部署，除各类数据库产品提供的API库之外，无第三方框架依赖。
2022-01-08
MySQL数据同步工具flish
支持MySQL数据的实时复制与1：n分发。支持大数据量、高并发，普通笔记本电脑，实测5000TPS响应正常，单条事务日志大小10MB以上。订阅方可以为TCP、UDP或KAFKA，同时支持短连接和长连接。数据源可以为远程MYSQL数据库，也可以为本地binlog日志文件。支持group commit(MySQL5.7以上)和workset(MySQL8.0以上)并行复制。输出报文为JSON格式。欢迎免费使用，用法详见附件readme。有任何意见建议可随时与作者联系。
2021-09-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人