Keen Dsync数据同步破局企业多源数据融合之道

Keen Dsync 数据同步系统是一站式数据同步产品，用于企业多源数据融合。解决企业内部关系型数据库、非关系型数据库、大数据平台、文件系统等复杂异构数据源之间、实现企业内部数据统一共享分发。产品具有智能化、统一数据共享与分发、简单易用、多源数据融合、元数据管理、运维管理等特点。

作为KeenData Lakehouse产品家族的智能数据同步系统，Keen Dsync完美的解决搭建数仓中任务配置过于繁重、整库迁移手动配置任务同步数据量过大以及元数据不便于管理，手动添加或修改不能快速映射到修改表的应用场景遇见的数据同步问题，Keen Dsync与实时计算系统Keen Stream、分析型数据库Keen ADB构建企业实时数仓，通过数据同步系统对业务生产过程中的数据进行交互和转化，实时计算平台实现数据清洗、合并、结构化、计算、模型分层等更复杂的全局性数据工作，想要了解更多产品内容，敬请关注后续KeenData Lakehouse产品家族介绍。

Keen Dsync 简介

科杰科技经过内部使用以及在大量的数据产品项目中实践，主要将Keen Dsync用于数据间的实时、离线同步，支持以下数据源，且在Keen Dsync的高扩展特性下，后期将持续支撑更多的数据源。

 

1. Keen Dsync架构设计

 

（1）任务管理和数据同步提供实时和离线数据集成能力，前端web页面通过参数解析处理将输入源和输出源转换成json，支持多种数据源类型（mysql、Oracle、kudu、hive、ftp等），支持增量、全量和分库分表，支持在数据集成时对数据的where条件和数据转换脱敏，脏数据清洗等功能，支持行列级别的数据权限控制。提供了主键冲突策略、并发度、文件类型的可以选择跳过标题，速率最大等规则。数据源提供了增、删、改、数据源测试、列表管理。任务调度管理方面，主要围绕任务依赖展开提供，同级任务并发控制、时间轮定、状态检查、失败重试、负载检查等各模块。

（2）监控中心，通过仪表统计图展示内存、磁盘、CPU、脏数据条数、读取写入各数据条数各模块异常提示等。

（3）运维中心，主要负责任务调度和任务运行实例。

（2）Keen Dsync技术架构

 

 

使用Keen Dsync 实现数据同步

系统概览：未上线的任务数、上线的任务数。运行中的实例数、失败的实例数、运行中成功实例数、未运行任务实例数。

同步任务列表：支持根据英文名称、中文名称、类型、状态、负责人、更新时间搜索任务，在任务列表中还支持的操作包括：上线、下线、手动执行、修改，详细信息，新建任务，任务实例。

创建同步任务：同步配置，读取配置，任务配置。

本地文件导入：新增、文件上传、数据起始行、数据分割符、编码格式、输出源选择、分区设置。

（1）Keen Dsync新增同步任务

1.登录Keen Dsync数据同步平台，点击离线同步选择新增DB导入。

 

2.填写基本信息，任务英文名称、任务中文名称、负责人、描述后配置同步数据源配置。

 

1. 通过Keen Dsync 实现数据同步

完成上一步骤，同步方案基本配置。实现数据同步需可以进行配置读取表映射、字段映射、输入源和输出源设置以及任务调度任务配置。

任务配置，可以进行配置任务的依赖配置、任务规则。依赖配置可以选择跨项目依赖、自动依赖、手动依赖。跨项目依赖，可以选择其他项目中的任务。自动依赖，对上一个时间的任务实例进行依赖。手动依赖，选择一个本项目中的一个任务建立依赖关系任务调度将根据选择的任务实例执行后才可以执行。任务规则，可以配置调度周期、任务优先级、最大传输速率、失败后延迟、断点续传、是否立即上线、yarn队列等。

 

（3）使用Keen Dsync 进行增量同步

Keen Dsync 增量同步的数据时间段是一个闭区间。在配置输入源设置查询条件，如根据updateTime 字段增量同步。

 

（4）采用Keen Dsync数据同步中对数据转换

1.在字段映射点击fx 可以选择系统函数、自定函数和添加自定义函数。

 

2.新增自定义函数，输入函数名称、上传jar包、功能描述（描述函数的使用方法）。

采用Keen Dsync与实时计算系统Keen Stream、分析型数据库Keen ADB构建企业实时数仓，一站式全链路全可视化的湖仓一体产品构建了湖仓一体化的大数据&AI基础设施能力，以某能源集团为例，支撑超过20个子公司信息部及业务部门协同使用，涉及数据量20PB，任务量6000+；通过全域数据资产建设和数据治理，形成统一的标准和管理口径，并形成统一数据门户，涉及40+主题域、6000+数据资产；并且进一步结合业务场景，面向业务发挥应用价值。