Flink CDC + Hudi 海量数据入湖在顺丰的实践

主要内容包括：

1. 顺丰数据集成背景

2. Flink CDC 实践问题与优化

3. 未来规划

一、顺丰数据集成背景

顺丰是快递物流服务提供商，主营业务包含了时效快递、经济快递、同城配送以及冷链运输等。

运输流程背后需要一系列系统的支持，比如订单管理系统、智慧物业系统、以及很多中转场、汽车或飞机上的很多传感器，都会产生大量数据。如果需要对这些数据进行数据分析，那么数据集成是其中很重要的一步。

顺丰的数据集成经历了几年的发展，主要分为两块，一块是离线数据集成，一块是实时数据集成。离线数据集成以 DataX 为主，本文主要介绍实时数据集成方案。

2017 年，基于