该文探讨了四种实时统计每个网点快递质量的方案，包括数据流程、需求描述和不同技术选型如Elasticsearch（es）、Flink的挑战与优缺点。最终选择了使用join数据格式结合has_parent和has_child查询来处理一对多的关系，以解决数据同步和聚合的问题。
目录
-
数据流程图和关系
-
数据流程图
-
数据流程关系
- 一对一： 收 ，收件入库，派，问题件，留仓件，签收 ； 发 到
- 一对多（多对一）： 收（收件入库，派，问题件，留仓件，签收 ） 和 发 （到）
-
需求描述
- 实时统计 每个网点，每天 发件未到件，发件未签收的快递单数（一对一，多对一）
- 实时统计 每个网点，每天 收件 未发件的快递单数，收件未到件的快递单数（一对多，一对一）
需求中设计到的字段说明（网点： scanNetworkCode : 快递单号：waybillId ）
-
框架和版本
- es-6.8 : 存储，聚合数据
- flink-1.8 : 从mysql 和 mongo 中同步数据到es
-
方案一
-
说明
- 每种数据存储到不同的索引，后一步数据更新前一步的数据
最低0.47元/天 解锁文章
1271
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
