XTransfer技术专家亮相Flink CDC Meetup

背景信息:Flink CDC 是实时数据集成框架的开源代表,具有全增量一体化、无锁读取、并发读取、分布式架构等技术优势,在开源社区中非常受欢迎。

为促进 Flink CDC 技术的交流和发展,社区于 5 月 21 日在线举办“Flink CDC Meetup”,邀请众多大咖分享 Flink CDC 在各场景中的最佳实践、生产经验、技术原理等。

5月21日,XTransfer技术专家孙家宝参与“Flink CDC Meetup”线上直播活动,并作为Flink CDC Maintainer成员分享了《MongoDB CDC Connector的实现原理和使用实践》。

XTransfer专注于B2B跨境金融和风控服务。由于B2B类跨境支付场景涉及更为复杂的业务链路,从询盘到最终成交涉及资金流、信息流、物流等条款,需要在每个节点上做好风险管控,这对 XTransfer 的数据处理安全性和准确性都提出了极高的要求。

在业务初期,XTransfer选择了传统的离线数仓架构,采用全量采集、批量处理、覆盖写入的数据集成方式。随着业务的发展,离线数仓越来越不能满足对数据时效性的要求,开始从离线数仓向实时数仓进行演进。

XTransfer大数据风控基础设施架构

有赖于Flink 强大的实时计算能力和丰富的外部系统接入能力,目前,XTransfer已基于Flink搭建了大数据风控基础设施架构,能够保障在跨境B2B全链路上,数据可以被有效的采集、加工和计算,并满足高安全、低延迟、高精度的需求。

同时作为Flink CDC在跨境金融和风控服务领域的最佳实践,XTransfer在 Flink CDC 基础上通过 MongoDB Change Streams 特性实现了 Flink MongoDB CDC Connector,并已贡献给 Flink CDC 社区。

由XTransfer技术团队贡献的MongoDB CDC Connector支持从 MongoDB 数据库获取全量历史数据和增量变更数据。借助 Flink 的集成能力,用户可以非常方便地将 MongoDB 中的数据实时同步到 Flink 支持的所有下游存储。

从开源中受益,并力所能及地反哺社区,是 XTransfer 技术团队所遵循的原则。目前,XTransfer 技术团队正在关注包括Flink在内多个领域的社区建设,接下来,XTransfer 将持续与社区保持互动,继续为社区发展做出贡献。

招聘链接:https://mp.weixin.qq.com/s/G2lppzUyQGhKyH0DUh8_ug

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值