NLP入门笔记

1、入门

CNN能够有效地在上下文中挖掘语义信息，但是无法对远距离上下文信息进行建模，也无法处理词汇的顺序信息。与CNN不同，RNN(循环)可以处理词汇的顺序信息，并且具有灵活的计算步骤，可以提供更好的建模能力。由于RNN容易出现梯度消失的问题，对其进行改进的LSTM网络开始流行。此外，由于计算能力有限导致信息超载问题严重，注意力机制作为一种资源分配方案，通过将计算资源分配给更重要的任务，有效缓解了这一问题。由于语言是具有层级结构的，而CNN和RNN(循环)都将语言视为一个序列。因此，RNN(递归)网络作为RNN(循环)的推广，以树形结构替代序列来表示语言，有效解决了数据结构的表征问题。此后，由于一些资源贫乏的语言缺乏充足的语言数据，深度学习模型无法从中学习总结到有用的规律，因此，预训练模型被用来解决这一问题[7]。BERT作为一款重要的预训练模型，采用了Transformer的架构，一经推出便席卷整个自然语言处理领域,在11种自然语言处理任务中取得最佳性能，带来了革命性的进步。此后，以BERT为基础的改进模型相继被提出，大大推动了NLP领域的进步。

（0-0）需要以上表格相关文献的请发邮件shaneholmes@qq.com

2、预训练模型

1、Semi-supervised Sequence Learning 、下载

2、Sequence to Sequence Learningwith Neural Networks
如何使用多层长短期记忆网络(LSTM)将输入序列映射到一个固定维度的向量？

3、注意力机制

4、transformer