大数据实战之路-实时数仓-基于SparkStreaming的流维关联实现

目录

以电商的交易订单场景为例

业务实现的部分功能

功能设计

任务提交

---

以电商的交易订单场景为例

描述: 一般的交易订单可能会涉及到多个表的，例如交易订单头信息，交易订单行明细，配送订单等等, 下面以订单头信息和订单行明细两个数据流为例，完成双流join的功能。

流数据介绍:

1. 交易订单头包含: 订单号, 父订单号, 配送单号, 渠道号, 下单日期, 订单状态, 下单门店, 配送门店, 送货方式, 订单类型, 运费, 订单满减等等
2. 交易订单行明细包括: 交易订单行明细ID, 订单号, 订单行号，商品编码, 订单商品数量，订单金额，促销金额等等

数据流：

mysql  ---canal-->>   kafka  --Flink-->> kafka --doris-routine-load-->> Doris