神州优车开源业界领先的增量数据同步中间件——DataLink

项目介绍

名称： DataLink['deitə liŋk]
译意： 数据链路，数据（自动）传输器
语言： 纯java开发（JDK1.8+）
定位： 满足各种异构数据源之间的实时增量同步，一个分布式、可扩展的数据同步系统
开源地址：https://github.com/ucarGroup/DataLink

此次开源为去除内部依赖后的版本（开源的是增量同步子系统），在集团内部datalink和阿里的datax还进行了深度集成，增量（datalink）+全量（datax）共同组成统一的数据交换平台

项目背景

随着神州优车集团业务的高速发展，各种各样的数据同步场景应运而生，原有的系统架构难以支撑复杂多变的业务需求，so，从2016年底开始，团队内部开始酝酿datalink这个产品。着眼于未来，我们的目标是打造一个新平台，满足各种异构数据源之间的实时增量同步，支撑公司业务的快速发展。在充分调研的基础之上，我们发现，没有任何一款开源产品能轻易的满足我们的目标，每个产品都有其明显的短板和局限性，所以最终的选项只有"自行设计"。但自行设计并不是凭空设计，现有的数据交换平台、已有的经验、大大小小的开源产品都是我们的设计根基，与其说是自行设计，倒不如说是站在巨人的肩膀上做了一次飞跃。由此诞生了DataLink这样一个产品，其产品特性主要如下：

• 满足各种异构数据源之间的实时增量同步，提供抽象模型，支持高可扩展
• 平台提供统一的基础设施（高可用、动态负载、同步任务管理、插件管理、监控报警、公用业务组件等等），让设计人员专注于同步插件开发，一次投入，长久受益
• 吸收、整合业内经验，在架构模型、设计方法论、功能特性、可运维、易用性上进行全面的升级，在前瞻性和扩展性上下足功夫，满足公司未来5-10年内的各种同步需求

应用现状

DataLink从2016年12月开始立项，第一版于2017年5月份上线，在神州优车集团内部服役到现在，基本上满足了公司所有业务线的同步需求，目前内部的同步规模大体如下

1. 日均数据同步量800G+
2. 涉及272个数据库实例之间的3208个同步映射
3. 60台Worker+2台Manager机器的集群规模

架构简介