LSTM与AGC-LSTM两者比较

LSTM网络是RNN网络的一个改进，解决了长期依赖问题，LSTM与标准循环神经网络RNN相比，最主要的改进就是多出了3个门控制器：输入门it，输出门ot，遗忘门ft。3个门控制器的结构都相同，主要由sigmoid函数和点积操作构成，由于sigmoid函数的取值为0~1，所以当sigmoid取值为0时表示没有信息可以通过，或者理解为将所有的记忆全部遗忘。反之，取值为1的时表示所有信息都能通过，完全保留。下面是LSTM模型的结构图。

                                                        

LSTM模型在原有的短期记忆单元ht的基础上，增加了一个记忆单元ct来保存长期记忆。下面是长期记忆但愿ct的更新。

                                                       

公式表示为：                                 

                                                       

                                                       

在每一个时刻，ft会控制上一时刻记忆的遗忘程度，it会控制新记忆的写入长期记忆的程度。

而对于短期记忆ht的更新如下图

                                                       

公式表示为：

                                                     

ot控制着短期记忆如何受到长期记忆的影响。

介绍完了LSTM接下来要介绍一下AGC-LSTM了，AGC-LSTM和LSTM一样，也有3个门结构，分别是输入门it，输出门ot和遗忘门ft。其结构图如下。                                                                                                                                                                        

                                        

公式表示为：

                                    

表示图卷积算子， 表示哈达玛积（Hadamard product），所谓Hadamard product举个例子大家就可以很好的明白

就是两个矩阵对应的位置相乘。 是一个注意力网络，它用来选择关键阶段的可辨别信息。