
最近在看的一篇论文里,用到了GRU、VAE等技术来做多维时间序列异常诊断。
那么今天首先来聊一聊深度学习的基础知识,然后简单说一下论文。
以下基础知识部分的内容,主要来源于李宏毅老师的课程。有兴趣的可以去看李老师的课程哦
https://www.bilibili.com/video/BV1JE411g7XF?p=1
1、GRU(Gate Recurrent Unit):
GRU是循环神经网络(Recurrent Neural Network, RNN)的一种,和LSTM(Long-Short Term Memory)一样,也是为了解决长期记忆和反向传播中的梯度等问题而提出来的。
概括来说,LSTM和CRU都是通过各种门函数来将重要特征保留下来,这样就保证了在long-term传播的时候也不会丢失。
而且,GRU相对于LSTM少了一个门函数,GRU 只剩下两个门,即更新门和重置门。从直观上来说,重置门决定了如何将新的输入信息与前面的记忆相结合,更新门定义了前面记忆保存到当前时间步的量。
因此,GRU参数的数量上也是要少于LSTM的,所以整体上GRU的训练速度要快于LSTM的。
2、自编码器(auto-encoder):
auto encoder是一种无监督