Apache IoTDB (Internet of Things Database) 是一个时序数据的数据管理系统,可以为用户提供数据收集、存储和分析等特定的服务。IoTDB-Quality基于IoTDB用户自定义函数(UDF),实现了一系列关于数据质量的函数,包括数据画像、数据质量评估与修复等,有效满足了工业领域对数据质量的需求。
目前,IoTDB-Quality的1.0.0版本已经正式发布,欢迎大家点击阅读原文下载使用。
时序数据的数据质量
对时序数据而言,数据质量至关重要。比如,如果我们的数据分析基于低质量的时间序列,分析得到的结果就有可能存在问题,进一步地可能影响我们做出的决策。因此,我们需要有一套对时间序列的数据质量进行评估的机制,事先识别出低质量的时间序列,避免对后续的数据分析等产生不利影响。
我们整理了常见的数据异常,并将它们归结为下面四个数据质量指标:
完整性 Completeness |
一致性 Consistency |
时效性 |