本文仅对NLP应用广泛的RNN结构进行简单汇总比较:好看的图是copy的网上现有最形象的,不好看的是我自己画的。
一、RNN标准版---传统RNN
可以有效处理序列的深度学习。双向RNN未画出,方向相反,用于上下文参考。
二、LSTM长短时记忆与GRU----现代RNN
有效解决RNN中长序列的梯度消失和梯度爆炸问题,解决方式是改变传统RNN时刻间的连乘改为叠加的形式。
GRU相比LSTM少了一个门,参数量减少。
双向LSTM和双向GRU未画出,方向相反,用于上下文参考。
四、DT(DL4MTGRU)---2019-06版RNN
DT网络包含两部分,拥有更多门的GRU CELL和可以循环多次的new state提取部分。
GRU CELL使用了更多的门,加强了上一时刻状态与当前时刻之间的控制。
new state部分