数据开发经验总结-流程规范

1、如何校验数据的准确性

校验数据的准确性是数据开发过程中的一个重要步骤，以确保数据与实际情况一致。以下是一些方法和步骤，可用于校验数据的准确性：

1）制定数据验证规则
在数据开发完成后，首先是自查数据是否符合预期。包括数据类型、数据范围、格式、单位、以及空值和空值率等。例如，可以验证日期字段是否正确有效，货币字段是否有正确的货币符号，数值字段是否在预定范围内等(通过数据分布来校验，如最大值、最小值、平均值、空值率等)；

2）比对参考数据
将数据与已知的参考数据进行比对。如果是重构的数据，可以原有数据进行比对，这里一般也是通过比对两份数据的分布情况（最大值、最小值、平均值、空值率等，对数据进行分段，不同分段的数据量进行对比）；那么没有直接可以参考的数据，可以通过不同的加工方式，对比两份数据；

3）采样检验
从数据中随机抽取某一个机构/群体的数据，对数据进行汇总，然后对比；
从数据中随机抽取一些明细数据，看这些数据每一个指标是否加工正确；

4）重复校验
在数据正式上线前，还要让对应的业务同学进行数据校验核对，当确认无误后，才能上线生产；
5）建立数据监控
数据开发完，不是上线后就完事，需要建立完善质量监控，对数据进行定期的检查，以保证数据能够持续稳定正确的产出。

2、如何做好数据监控

1、明确数据质量标准和期望：
首先，需要明确数据质量的标准和期望。这可能包括数据的准确性、时效性、一致性、波动变化性等方面的监控要求。这些标准应该与业务需求和目标一致。

2、建立数据质量监控指标：
经过第一步的讨论，确定关键的数据质量指标，例如数据准确性、时效性、一致性等。这些指标应该能够量化数据质量，以便进行监控。数据量每天的波动不超过30%；

3、选择合适的监控手段：
选择适当的数据质量监控工具和技术，这里可以包含数据平台自带的功能，如智能化的监控手段（主键唯一，数据不为空），手工设置定制化的指标，如指标的空置率，数据量的波动大小限制。重要的数据任务，配置相对应基线和告警机制，保障数据质量，以便及时处理异常情况；

4、建立全链路的数据监控机制：
通过数据血缘，建立全链路的数据监控机制，从数据采集同步-分层数据加工-到应用，每层数据建立监控和告警，当上游数据出现异常，及时进行告警和拦截、避免下游任务消费；

5、建立自动化监控看板：
建立每天定时的数据质量监控看板，可以定期检查数据的产出情况，如产出时间、任务告警次数、失败次数等。生成监控报告，以便定期检查发现任务存在的问题，并及时进行优化；同时通过监控不断改进和调整监控规则；

6、数据质量异常问题的跟踪和记录：

站在整体团队的角度，需要对于发现的重大数据质量问题的事件，记录并且解决问题的方案。一、通过总结经验，避免同类问题的重复产生；二、有助于发现目前团队，数据质量监控流程存在的漏洞，及时采取补救措施；

总结：
数据质量监控是一个持续改进的过程。根据反馈和经验，不断改进数据质量规则和监控流程。

（数据质量检测和监控的核心工具——DQC和SLA，DQC和SLA）

3、数据团队的价值如何体现

数据的最终价值集中体现在两个方面，一是助力业务增长和二是建立数据标准和流程，来降本增效；具体可以体现在以下3个方面：

3.1、助力业务增长**

数据的价值首要体现在，要能够助力业务增长。如果数据不能为业务增长提供价值，那么团队很容易就会边缘化了。那么数据如何促进业务增长，需要做好以下几个关键点：