工业时序大数据质量管理

工业时序大数据质量管理

丁小欧，王宏志，于晟健 

哈尔滨工业大学海量数据计算研究中心，黑龙江 哈尔滨 150001

 

摘要：工业大数据已经成为我国制造业转型升级的重要战略资源，工业大数据分析问题正引起重视和关注。时序数据作为工业大数据中一种重要的数据形式，存在大量的数据质量问题，需要设计数据清洗方法对其进行检测和有效处理。介绍了工业时序大数据的特点及工业数据质量管理的难点，并对工业时序大数据质量管理的研究现状加以分析、总结，最后，提出了时序大数据质量管理方法和系统性能的提升方向。

关键词： 数据质量管理 ; 时序数据 ; 工业大数据分析 ; 数据清洗

论文引用格式：

丁小欧，王宏志，于晟健 .工业时序大数据质量管理. 大数据[J], 2019, 5(6）：19-29

DING X O, WANG H Z, YU S J.Data quality management of industrial temporal big data.Big Data Research[J], 2019, 5(6):19-29

1 引言

随着“工业4.0”和“中国制造2025”等国家战略的提出，我国的大量产业面临着向智能制造转型的重大需求。而5G时代的到来，更是对工业物联网产生的海量大数据质量监控与分析提出了更高层次的精准性和时效性要求。

新时期的科学技术革命也给我国制造业的发展带来了新的机遇。目前，我国工业生产过程中已经产生并积累了大量数据，现代化工业制造生产线传感器设备、制造装置监视器等设备能实现对整体工业生产状态和运行参数的感知和记录。而在积累的工业大数据中，时间序列数据是最基本和最普遍的数据形式。对基于采样时间点的时序数据的分析挖掘，能够促进工业大数据分析研究的发展。如果想实现可靠、智能化的工业大数据分析，就需要在高质量的工业数据上进行建模计算。然而，工业时序数据来源广泛，具有大体量、多源性、连续采样、价值密度低、动态性强等特点，导致目前的工业数据质量问题广泛存在。

很多工业生产环境在数据系统智能化中经常遇到瓶颈问题，根据其数据形式，这些问题可归结为与时间序列有关的数据质量问题。但由于数据采集环境不同，不同系统中的针对性解决方案较多，目前学术界的方法仍不是很完备。因此，本文将对近年来数据质量管理和数据清洗的研究现状，尤其是时序大数据质量管理的研究现状进行全面分析。

2 工业背景下的数据质量管理

2.1 时序大数据的特点

与静态数据不同，时间序列数据之间存在大量的依赖关系，对数据依赖关系或相关性的正确处理在时间数据处理中变得至关重要。时间序列数据在统计学上经过了数十年的研究，已经有大量的工作用于检测时间序列数据的离群值和异常值。硬件和软件技术的进步推动了多种应用程序生成的数据集的增长，包括数据流、时空数据、时间网络等。

传感器设备的快速发展导致各个领域对时间序列数据的计算提出大量需求。因此，数据挖掘在时间序列领域的探索也日渐增多。Tang Y等人通过弹性距离测量函数将原始时间序列空间隐式映射到多内核空间，从而实现多内核聚类（multiple kernel clustering，MKC）框架下的时间序列聚类任务；Rawassizadeh R等人设计了一组可伸缩的算法，以时间粒度识别行为模型，即通过智能手机收集的多维时间序列来识别人类日常行为的模式；Zhao J等人采用词袋（bag of words， BoW）框架对时间序列进行分类，即从特征点位置的时间序列采样局部子序列，从而构建局部描述符，并通过高斯混合模型对其分布进行建模后编码，最后使用现有分类器（例如SVM）进行训练和预测；González-Vidal A等人提出了一种用于时间序列分割的BEATS算法，该算法将数据流分成多个块，并按平方矩阵将其分组计算离散余弦变换（discrete cosine transform，DCT），并对其量化，提取子矩阵计算其特征值模数，并删除重复项