用带偏差检测的滑动平均窗口实现数据质量检验

这两天在做一个通过AIS基站播发气象数据的项目。因为是公共服务，自然需要万分小心，在检查源数据时发现，受仪器、海上无线传输等多种因素的影响，源数据的质量会有比较多的杂质。需要对采集到的源数据做一个质量检验。

同时，仪器采集到的数据过于离散，如自然界中的风向、海流的流向都属于时变的，甚至短时间内会出现反方向的可能，但这样的离散数据对需要持续数据的海上行船就会产生困扰。

对于后者，大家自然就会想到滑动平均窗口技术，但显然，这里需要的不是简单的平滑，还必须对数据的质量进行检验。

所以在平滑之外，我增加了三个参数：偏差门限、最大累积偏差次数、有效期。

偏差门限：顾名思义，当前采集到的值和窗口内有效数据的平均值的最大许可偏离值。小于偏差门限，则认为当前数据属于正常数据，大于偏差门限则认为数据出现了偏差。偏差门限是数据质量检验的基础性参数。

最大累积偏差次数：连续出现偏差时的容忍度。即最大能容忍连续出现多少个偏差，就一定要做出反应了。

有效期：我们采集的都是有时效的数据，如中午时的气温肯定不能用到晚上。所以有效期就指示了数据的最大存活时间。

同时，一般来说，我们都还需要一个数据有效性检测，大多数情况下，就是数据的取值范围，当然可以进一步的根据业务特性、历史模型等对时变数据的有效性做更精确的检测。

有了这些东东，我们就可以对采集到的数据做如下的质量检验：

异常

当接收到一个数据时，首先要用有效性检测函数对其进行检测，未通过检测的数据为异常数据。异常数据应予以排除。

典型的，如能见度采集到了负数这种明显不合理的数值。

数据出现异常，主要是仪器采集时受偶发因素影响所导致。所以，其出现频次直接反应了仪器的稳定性。

当然，由于是海上无线传输，通信质量较差，位翻转、吃字等现象都较为频繁，所以对我们来说，异常的频次反映的是设备工况和通信信道两者叠加的稳定性。

这种情况下，通信质量问题就容易掩盖设备工况的稳定性问题，所以强烈建议数据传输应采取相应的抗击手段来区分出通信质量自身的问题，如笔者就专门开发了私有的数据包传输格式来抗击通信质量问题。

这也是笔者对海上工程上很多人喜欢用什么透传极其反感的原因：只图自己一时方便，导致衍生问题重重。

偏差

通过有效性检测的数据，我们将其放入到滑动窗口中，当窗口中的数据数量过少时，如少于3个，则直接将新的有效数据放入。

除此之外，需将新的有效数据和窗口中所有数据的平均值进行比较，超过偏差门限的，即识别为偏差数据。偏差数据不放入窗口而另外存放。

偏差数据是有方向的，即正向偏差是比平均值大的偏差数据，负向偏差是比平均值小的偏差数据。

偏差是数据质量检验的基础，所以偏差门限不能设的太大，否则就失去了数据质量检验的意义，那干脆就完全用异常来排除干扰就好了。

偏差门限设的太小，就会产生过多的非必要偏差，诱发后继各种检测的虚警，容易导致维护人员疲沓。

所以偏差门限的合理设置，需要基于对历史数据的长期统计分析来建立起历史数据模型。在没有足够的历史数据来建立起数据模型的情况下，如何设置偏差门限，完全是一个工程上需要考虑的问题，不在本文讨论范围之内。

在合理设置偏差门限后，我们可以对偏差的出现频次进行统计分析，可以作为采集设备运行质量的一个重要指标来指导设备运维工作的计划制定。

突变

当出现连续的某向偏差时，我们就需要考虑是不是发生了某种突变的情况，如突然降温、突然出现雨云导致能见度骤降。

所以，当连续的某向偏差数达到最大累积偏差次数时，我们就认为出现了突变。此时，应将原本的数据窗口直接舍弃，而代之以偏差数据所组成的窗口。

突变，是数据质量检验时需要高度关注的核心指标之一，因为其能为快速响应提供关键信号。

颠簸

当连续出现偏差，但方向不同时，我们就处于一个两难的境地：显然此时现场环境出现了剧烈的变化，但变化的方向我们却无从把握。对这种剧烈变化的情况，笔者称之为颠簸。

此时，笔者考虑过两种对立的策略：

• 消极策略：等等看，再接收几个数据看看变化的趋势

• 积极策略：不管三七二十一，直接发出告警并将所有的偏差数据合并进有效数据窗口

由于消极策略需要更复杂的处理机制才能准确识别、判断出现场到底发生了什么，否则这种消极的等待就毫无意义。

而这种复杂的处理机制就需要纳入诸如设备运行的历史情况、历史数据模型等进行综合考虑，就笔者所做的项目而言是无法满足的了。

所以笔者最终采取的就是简单粗暴的积极策略。

另一种颠簸

颠簸是数据偏差状态出现了剧烈变化的特殊形态。符合这种形态的还有一种：正常、偏差、正常、偏差…。由于尚不掌握足够的历史数据模型来区分各自的诱因，所以目前笔者也把这种形态归为颠簸一并处理。

由于同样归为了颠簸，所以这种情况也是采取了积极策略进行数据的合并处理。

在合理设置了偏差门限后，颠簸属于需要高度关注的现象，需要对诱发颠簸的原因进行及时的分析，其背后或隐藏着系统的重大运行风险，或提示了现场环境的剧烈变化。

时效性

最后，就是在平滑时，我们只使用处于有效期内的数据来进行平滑。当队列中的数据全部失效时，就代表数据采集通道不可用：可能是仪器故障、可能是通信中断。

队列中的数据全部失效，就意味着采集不到数据或采集到的数据全部异常。

目前，笔者在做时效性检测时是消费拉动的，即时效性检测是在取用数据时完成的。当然，这和笔者所做项目有关，即平滑后的数据的消费是定时进行的。

结语

综上，利用带偏差检测的滑动平均窗口技术，我们可以检测出异常、偏差、突变、颠簸、采集故障等多种数据质量问题，再进一步融合各事件的频次统计、时间间隔统计，就可以形成自动化的数据质量报告：

特别提示：在实现时，如果直接编程，由于需要跟踪的变量太多，非常容易出错。所以建议采用状态机进行识别，这样代码比较可靠