（二十二）WaveletAE: A Wavelet-enhanced Autoencoder for Wind Turbine Blade Icing Detection

1、本篇论文是在上一篇论文（二十一）WaveletFCNN: A Deep Time Series Classification Model for Wind Turbine Blade Icing Detection的基础上展开的。
2、这两篇论文都是在Outlier Detection for Time Series with Recurrent Autoencoder Ensembles 基于递归自编码集成的时间序列离群点检测 的思想上进行的，运用到集成的思想。

论文信息

• 2019
• Machine Learning
• 作者单位：美国莱斯大学（QS前100）&清华大学&香港大学
• 数据集：
• 多变量时间序列异常检测

论文下载地址：https://arxiv.org/pdf/1902.05625.pdf
代码地址：

概述

1、研究对象：系统监测的多变量时间序列数据

2、目的：风电机组故障检测

3、方法：小波增强自动编码器模型
对原序列进行小波分解，得到各层小波系数；对各层小波系数用自编码器分别建立模型，对各层小波系数进行编码；（3）用编码得到的进行解码重构数据 ；（4）原始与重构数据的差值与阈值比较，也用到了多数投票的方法来进行异常检测。

4、结果：
该模型在实际叶片结冰检测中优于其他最新的时间序列异常检测方法

5、关键字：
自动编码器+小波变换+时间序列异常检测

6、需要简单储备的知识

离散小波变换
深度自动编码器体系结构

一、论文动机

风能作为化石燃料的替代能源，为了充分利用风电，风电场通常位于高海拔地区，面临着严重的冰情，叶片结冰造成的年发电损失高达25%，甚至更可能导致严重的后果，叶片结冰的快速检测是风电场维护的关键。

二、面临挑战

1、多变量信号通常包含通道间复杂的相关性，从这些相关性中学习知识是识别叶片结冰功能障碍的关键。例如，功率输出通常由风速和风向决定，相应的工作状态反映在来自多个俯仰角、转速和直流传感器的信号中；结冰叶片会引起信号间相关性的隐式变化。

2、由于不同的天气条件，积冰可能表现出不同的动力学特征。反射信号的变化很大程度上取决于结冰的频率、持续时间、严重程度和强度。因此，所提出的模型应该能够检测出多变量信号在时域和频域中嵌入的模式的变化

三、论文贡献

1、提出了小波，一种包含离散小波变换的生成性自编码结构，用于对时间序列异常检测的多尺度分解信息进行编码。
2、小波在半监督和有监督两种情况下，都能捕捉到复杂的关联和频繁域和时间域的各种动态。
3、实验结果证明了小波在真实数据集上的有效性。仿真部署实例表明，小波在实时监测中具有较强的鲁棒性和灵活性

四、论文方法

（一）模型介绍

1、该结构包含：
多级离散小波分解模块
卷积编码器
多尺度LSTM编码器解码器
卷积解码器。

2、总体思路
（1）首先用小波细节系数对原始信号进行增强，在多个尺度上揭示信号的方差，从而在时域和频域上揭示信息。
（2）然后，在每个尺度上，多变量信号首先经过卷积编码器来学习所有信号信道之间的全局相关性。
（3）在卷积编码器之后，输出通过LSTM编码器来捕获时间复杂，以隐藏状态存储信息。
（4）一旦LSTM编码器访问整个多变量信号，所有尺度的最终隐藏状态将被连接起来，生成全局隐藏状态。
（5）对称地，在解码阶段，每个尺度中的最终隐藏状态将由根据独立的完全连接层的全局隐藏状态的映射来初始化。
（6）然后，将隐藏状态按逆序经过LSTM解码器、再经过反褶积层，重构出小波细节系数和原始信号。

1、多级离散小波分解模块

首先用小波细节系数对原始信号进行增强，该模块从时间序列中提取多级时频特征，分解能够揭示了信号在多个尺度上的变化，作为不同的输入数据丢给每个集成模块。

2、卷积编码器
原始输入信号和每个尺度的小波细节由独立的卷积层获取，将第一卷积层的核大小设置为信道总数C，这将迫使卷积编码器组合所有信道以捕获信道之间的全局相关性。

其中f是激活函数，*表示卷积运算，W和b是要在卷积编码器中学习的参数

3、多尺度LSTM编码器解码器
（1）编码：从卷积编码器生成的激活然后被独立地放入下一个LSTM编码器中，在编码阶段，每个LSTM编码器沿着信号从时间戳0移动到，最后的隐藏状态h[l]连接起来生成全局隐藏状态

（2）解码：在解码阶段，每个尺度首先使用独立的完全连接层来将每个LSTM解码器的全局隐藏状态映射到初始隐藏状态。然后LSTM解码器沿信号从时间戳到0的相反顺序在刻度级l中移动，同时应用完全连接层来同时重构信号。

（3）在推断期间，在时间戳t处的预测LSTM解码器输出值被输入到LSTM解码器以在时间戳t-1处进行预测。

4、卷积解码器

为了重建原始信号以及多尺度细节，我们需要对LSTM解码器的输出序列进行解码。作为卷积层的对称运算，我们采用形式化的反卷积运算

5、重构损失

（二）实验验证

1、数据集：

（1）SCADA(由Goldwind公司提供)

（2）数据集的拆分

• 60%的信号作为训练集；
• 20%的信号作为验证集，以比较小波和最新方法之间的泛化性能；
• 20%的信号作为模拟部署案例研究中的最终测试数据

2、实验检测指标
（1）Accuracy:模型对所有预测做出的正确预测数;
（2）Precision:诊断为异常的位置，实际上是异常的比例
（3）Recall:测量模型诊断为异常的样本比例;
（4）F1 Score:精确性和召回率的调和平均值，作为模型的一般评估。

3、对比试验
（1）半监督设置下小波与LSTM编解码器的比较实验
（2）监督设置下小波与LSTM编解码器的比较

4、案例研究：模拟部署——采用滑动窗口投票模式

（1） 首先定义了两个变量：窗口大小Tw和步长Ts。
（2） 假设时间序列被分割成Ts长度的块，该模式允许一个长度为Tw的活动窗口沿输入时间序列移动一个Ts大小的步长，预先训练的小波将为活动窗口内的序列提供预测。
（3） 每次活动窗口移动时，将进行预测，以便除最后一个活动窗口中的第一个块之外的所有块都将获得新的预测，当滑动窗口沿信号移动时，每个块将累积Tw/Ts个预测值。
（4） 因此，我们可以使用多数票来确定当前块是否异常。
（5） 通过设置阈值τ，多数票可以更加灵活，如果正预测的比率大于或等于阈值，我们将生成正预测，否则生成负预测

投票阈值τ与评价指标之间的关系