工业大数据质量改善

工业大数据时代的到来为准确监测与诊断机械设备的健康状态带来了无限可能。但机械设备所处的工作环境常常十分恶劣,导致设备监测大数据中混杂漂移、失真、残缺的脏数据,影响数据质量。正所谓“垃圾进,垃圾出”,如果基于这些脏数据建立相关的健康监测与智能诊断模型,可能会对设备的健康状态进行误判,制定出错误的运维策略。此外,低质量数据的存储占据大量存储空间,且加剧了数据分析的计算负荷,降低了分析效率。因此,在分析工业大数据之前,需要对工业大数据质量进行改善。工业大数据质量改善旨在借助统计、聚类等算法剔除脏数据,提高数据质量,为大数据健康监测和大数据智能诊断夯实数据基础。 工业大数据质量受人、机、环境交互作用,用以描述获得数据与所监测设备健康状态的相关程度。

大数据质量问题贯穿于大数据分析整个过程,要进行机械监测大数据质量改善,需准确把握引起数据质量下降的常见因素,导致大数据质量下降的常见原因如下:

（1）传感器采样频率不同导致的传输信号时间尺度不一致及多物理源信号采集引起的结构化、非结构化和半结构化数据混合存储,使得工业大数据具备不均匀采样性、多时间尺度特性和多种格式混杂等特点。

（2）机械设备实际作业环境恶劣、测试环境受随机干扰因素影响，监测信号中难免夹杂各种噪声、异常波动,致使机械设备的健康状态信息易被环境噪声等信息淹没。这些与机械设备健康状态无关的噪声和异常数据极大地降低了大数据的价值密度,损害了后续大数据分析的准确性,需要利用行之有效的方法对其进行清洗。

（3）当传感器未进行校准、发生故障或者超出其额定使用寿命时,如再使用该传感器进行采集将会引起数据缺失、数据漂移等异常,导致数据不完整、不准确。

工业