语言建模的王者：AWD-LSTM指南

语言建模的王者：AWD-LSTM指南

原创： weakish 论智 2018-12-01

来源：yashuseth

编译：weakish

编者按：数据科学家Yashu Seth在本文中深入讲解了AWD-LSTM这一语言建模中大放异彩的模型架构。

AWD-LSTM算是当前最先进的语言建模的统治者。所有关于世界级的模型的顶尖研究论文都采用了AWD-LSTM。它在字符模型上的表现也很棒。

这篇文章将解读引入AWD-LSTM的研究论文Regularizing and Optimizing LSTM Language Models（正则化、优化LSTM语言模型），解释其中讨论的各种技术。这篇论文调查了一些面向基于单词的语言建模任务的正则化和优化策略，这些策略不仅非常高效，而且可以不加修改地直接应用于现有的LSTM实现。

AWD-LSTM是ASGD Weight-Dropped LSTM的简称。它使用了DropConnect和Average-SGD的一个变体（NT-ASGD），还有其他一些知名的正则化策略。我们将讲解所有这些技术的细节。尽管所有这些方法以前都有人提出过，也在理论上解释过，这篇论文的妙处在于成功地将这些方法应用于语言模型得到当前最先进的结果。

相关复现代码可以在GitHub仓库salesforce/awd-lstm-lm获取。

如果你想要温习一下LSTM网络的内部机制，那么强烈推荐Christopher Olah撰写的知名文章《一文详解LSTM网络》。

LSTM的数学表述为：