数据质量流程

目标：监测发现数据错误，本来数据应该是1，结果经过n次数据处理后，不知道那个环节出了问题，变成了2，要发现这类问题；数据源也可能出错.转换过程中的错误；

错误从上可以分类：数据源错误，数据转换错误

数据转换错误：转换公式错误，用的转换公式错

元数据：业务与转换公式列表的映射，保证不用错转换公式

业务“1-------2”--------à转换公式顺序列表，此可以避免用错转换公式。

转换公式的错误：

1---formular-----2

数据稽核流程是这样的：

省份数据抽取------------入库到总部-----------跑过程（数据转换）----------数据稽核------如果有问题，重传，重跑。

 

 

分析流程是这样的：

省份数据抽取------------入库到总部-----------跑过程（数据转换）---------数据分析（version1）--------产生分析报告----数据有问题-----重传重跑

如果稽核有问题---------在重传重跑后重新分析（version2）

数据分析为数据稽核提供支持！

不太清楚你的数据分析具体指的啥，我们这边咨询报告是每月等前面的接口、模型经过初步稽核，数据质量还行后才是刷报告。就是稽核正确再分析

研发模板时，不一定要等数据封数。

刷报告中如果发现数据质量问题，会反馈稽核组，PPT会相应处理

咨询报告、咨询方案、分析报告、PPT 都一回事；

 

封数是只不再接收重传、重跑；

 

刷报告指模板已定，用最封数后的数据更新；

--------------------------------

接口数据入加后，检查数据有没有问题，找出问题让省份解决

 

就是根据规则做接口级稽核，做业务稽核

有自动稽系统，只需要配置就行，业务稽核，现在阶段都是手动的

 

数据分析在数据稽核之后还是同数据稽核同时进行的？之后

采集组数据是每个月都建立一个表吗？不是

跑数据是什么意思？重新跑过程干嘛用的？底层数据更新了，要更新上层的数据

 

 

 

 

 

 

 

 

入库---跑过程-------稽核分支-------稽核有问题---------重新执行入库，跑过程

                     分析分支------分析有问题---------重新执行入库，跑过程

 

 

图形化表示：

                             数据稽核

入库---跑过程                          

数据质量有问题

                          

 

    数据分析

 

                                                生成ppt报告

最终会生成多个ppt报告，ppt报告要增加版本标识

 

采集组：从各省集中数据入库

稽核组：稽核

数据逻辑过程：

sql查询----把查出来的数据粘到excel里---总结的话 一般就在word里写---将问题记录入库----给采集组发邮件，说明问题，附件有excel+word

采集组了解问题：稽核组的邮件+数据库中的问题列表；

 

日常报告：按照模板做ppt

 

打电话通话环比：

 

问题列表：加入问题，题状态，解决方案。

 

出咨询报告（特殊ppt过程）：联通要求出报告----------分析组负责出报告---------

分析组要用数据，问稽核组数据质量怎么样----------稽核组稽核质量------

出问题---------报告给采集组，采集组跟联通交流------将交流结果反馈给稽核组-------

稽核组通过------回复分析组----------分析组分析--------出ppt

一般ppt过程：稽核组稽核数据------将问题发给采集组-----采集组和联通讨论----将讨论结果由采集组发给稽核组------稽核组通过-------分析组分析数据-------ppt报告出来

 

稽核组现在稽核都是手动查询sql，然后将查询结果贴到excel中，做出分析：

一个分析流程展示+分析结果展示+结论。

做了哪些查询？例如环比， Select value8月/value7月  from table;

select value from table where7月；

                         select value fromtable where 8月；