一、引言
随着青鸾项目(火凤凰项目的子项目之一)在全站推广,基于两码,越来越多的生态方(参见:两码生态)已经或者正在接入。两码作为服务端埋点基础数据,稳健的数据质量底盘是充分发挥其在数据、技术和业务上价值的大前提,需要建立一套机制,能够发现两码数据异常、告警和跟踪处理。
二、目标
1)升级两码数据监控大盘;
2)建立异常识别、验证、告警、跟踪、处理闭环;
三、总体思路
整体思路
1)两码落地覆盖率监控往两码质量监控大盘升级;
2)从资金表两码落地质量、链路日志质量、两码覆盖率、产品流程关联研发四个方面开展;
3)借助现有两码表落地监控能力、两码链路清洗能力、两码日志JAR包能力;
4)承接部分合作方的成熟能力,打造新财年两码质量底盘。
策略打法
1)识别和定义出数据异常类型,针对各种异常场景配套建设质量保障能力;
2)从原金融核心资金相关业务和系统两码数据质量分析和治理开始;
3)三步走:升级监控大盘->配套异常发现、验证能力和告警机制->流程和异常闭环处理机制;
四、现有异常分类及配套解决方案
异常编号 | 异常类型 | 解决手段 | 优先级 | 成本 | action |
---|---|---|---|---|---|
case 1 | 数据表的两码字段不全 | 数据清洗,报表通知;IDB元数据(表、字段) | 中 | 中 | 新增监控 |
case 2 | 缺:落地两码的数据缺失 | 监控,通知 | 高 | 中 | 监控升级antpim:质量专区(顶部导航跳转)alisis -> DeepInsight a.覆盖率监控:未覆盖场景 b.产品码、事件码c.产品-事件关联对 |
case3 | 错:端码篡改 | 流程:链路+云图 | 高 | 高 | antpim:异常登记处理、关闭流程、预发验证 |
case4 | 两码关系的配对不对 | 流程:回流落库新增确认过程(存量数据) | 中 | 中 |
三个关注点
落地覆盖率/完整度
落地规范性
落地正确性