基于done文件的数据监控-理论

1 问题

除了像Alibaba 的 Dataworks 外，很难有另外的公司能够把数据调度，数据监控，数据血缘，元数据管理等作为一体化的平台了，包括我司在内的一些厂，往往把这些建设独立开来，由不同的团队负责，其中数据平台调度功能是绝大多数公司都有的基础平台，但是调度的功能程度就各不同了，下面的问题当作抛砖引玉，指出在生产环境中常遇到的问题，如果后续有产出，后面尽量开源一些代码出来，贴到本博客最后面。

监控从大的层面来说有两种，一种是监控用来拦截的，即有依赖的，一种只是用来报警和分析的。

由于依赖接入源较多，以下问题常有发生：

1.1数据延时产出，数据产出空分区，数据质量可能有问题（条数，时间戳不对）

一般处理过程：花费时间30m+ 处理-延时问题→ 去易创上找依赖图，确认是哪个上游产出表没有产出->复制表名->去数据地图里面找负责人->一般会拉群跟进-->等处理完-->同步或者不同步/关注方→同步产出好了

1.2使用方无意识使用到错误数据，花费时间60m + 处理-空分区问题

处理过程ÿ