论文:WiFi CSI Based Passive Human Activity Recognition Using Attention Based BLSTM
论文中使用attention based bi-direction long short-term memory(基于注意力模型的长短期记忆)网络结构实现了人类活动识别。在本篇博客中首先介绍一下RNN、LSTM、GRU和注意力模型的概念,然后再介绍论文中的网络结构。
RNN
这是一个输入与输出序列长度相等的RNN结构图,其中代表输入序列,
表示输出序列,h表示hidden state
f和g是激活函数,一般f是tanh或者relu,g取决于输出是什么,是sigmoid或者softmax
LSTM
Long short-term memory(LSTM)是一种特殊的RNN,主要是为了解决RNN训练过程中的梯度消失问题。在反向传播时,序列后面输出层的误差很难影响到前面,也就是说传统的RNN难以捕获相距较远的序列之间的长期依赖。相比于传统的RNN,LSTM多列一个cell memory,用来存储长期依赖