NLP模型笔记2022-15：深度机器学习模型原理与源码复现（lstm模型+论文+源码）

本文主要先复现以下知识点原理，内容将分为几篇文章讲解。

• lstm模型
• Biaffine模型
• Transform结构
• 词向量嵌入与embedding
• MLP结构与dropout技巧

1、lstm神经网络初探

当你阅读这篇文章时，你会根据你对前面单词的理解来理解每个单词。你不会把所有东西都扔掉，重新开始思考。你的思想有持久性。

传统的神经网络无法做到这一点，这似乎是一个主要缺点。例如，假设您想对电影中每一点发生的事件进行分类。目前尚不清楚传统的神经网络如何利用其对电影中先前事件的推理来告知后来的事件。

递归神经网络解决了这个问题。它们是带有循环的网络，允许信息持续存在。

在上图中，一块神经网络一个查看某个输入X并输出一个值H。循环允许信息从网络的一个步骤传递到下一个步骤。

这些循环使循环神经网络看起来有点神秘。然而，如果你想得更多，就会发现它们与普通的神经网络并没有什么不同。循环神经网络可以被认为是同一网络的多个副本，每个副本都将消息传递给后继者。考虑一下如果我们展开循环会发生什么：