lstm需要优化的参数_香侬读 | 形变LSTM（Mogrifier LSTM）

论文标题：

Mogrifier LSTM

论文作者：

Gábor Melis, Tomáš Kočiský, Phil Blunsom

论文链接：

https://openreview.net/forum?id=SJe5P6EYvS

收录情况：

ICLR 2020 (Oral)

---

本文提出形变LSTM(Mogrifier LSTM)，在普通LSTM上稍作修改，令输入和状态首先进行多轮交互，再送入到LSTM中参与运算。这种简单的修改在语言模型上取得显著效果。

长短时记忆网络LSTM

自从深度学习兴起以来，长短时记忆网络(Long Short-Time Memory, LSTM)就一直被广泛应用在各类NLP任务中。LSTM是一种RNN，其公式可以表达如下：

可以简写为。这里，是遗忘门(forget)，用来控制前一个记忆单元保留多少；