- 博客(3)
- 收藏
- 关注
RSS订阅原创 基于OGG 实现Oracle到Kafka增量数据实时同步
背景在大数据时代，存在大量基于数据的业务。数据需要在不同的系统之间流动、整合。通常，核心业务系统的数据存在OLTP数据库系统中，其它业务系统需要获取OLTP系统中的数据。传统的数仓通过批量数据同步的方式，定期从OLTP系统中抽取数据。但是随着业务需求的升级，批量同步无论从实时性，还是对在线OLTP系统的抽取压力，都无法满足要求。需要实时从OLTP系统中获取数据变更，实时同步到下游业务系统。...
2019-11-13 11:15:02
2440
1
原创 Streamworks，基于扩展FlinkSQL实现流计算的源表导入、维表关联与结果表导出
Streamworks，袋鼠云基于SQL的流计算开发平台，其通过扩展FlinkSQL，实现FlinkSQL与界面化配置映射结合的方式，完成Kafka源数据的读入，并支持流数据与Mysql/Oracle/MongDB等数据源进行维表关联，将最终结果数据导出至Hbase/ES/Greenplum/Oracle/OceanBase等目标数据库，进行一站式的流数据开发。为什么扩展Flink-...
2019-11-13 10:03:33
2997
3
原创 FlinkX—批流统一的高效数据同步插件
什么是FlinkX？FlinkX是一款基于Flink的分布式离线/实时数据同步插件，可实现多种异构数据源高效的数据同步，其由袋鼠云于2016年初步研发完成，目前有稳定的研发团队持续维护，已在Github上开源（开源地址详见文章末尾）。并于今年6年份，完成批流统一，离线计算与流计算的数据同步任务都可基于FlinkX实现。FlinkX将不同的数据源库抽象成不同的Reader插件，目标库抽象成不...
2019-11-12 19:11:28
4758
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人