一、实时数仓——数据质量
### --- 数据质量概述
~~~ 流程图描述了一般的实时数据计算流程,接收日志或者MQ到kafka,
~~~ 用Flink进行处理和计算(指标),将最终计算结果(指标)存储在redis中,
~~~ 最后查询出redis中的数据给大屏、看板等展示。
~~~ 但是在整个过程中,不得不思考一下,
~~~ 最后计算出来的存储在redis中指标数据是不是正确的呢?怎么能给用户或者老板一个信服的理由呢?
~~~ 比如说:离线的同事说离线昨天的数据订单是1w,
~~~ 实时昨天的数据确实2w,存在这么大的误差,到底是实时计算出
二、问题了,还是离线出问题了呢?
三、指标