NLP神经网路

NLP (Natural Language Processing) 是AI的一个分支，当前，使用最广泛的主要神经网络有：循环神经网络、卷积神经网络、递归神经网络

循环神经网络RNNs

RNNs是处理NLP中普遍存在的动态输入序列的一个技术方案。

卷积神经网络CNNs

CNNs是计算机视觉领域的一项技术，现在也开始应用于语言。文本的CNNs只在两个维度上工作，其中的滤波器(卷积核)只需沿时间维度移动。CNNs比RNN更可并行化，因为其在每个时间步长的状态只依赖本地上下文(通过卷积运算)，而RNN需依赖过去所有的状态。使用膨胀卷积可以扩大CNN的感受视野，使网络有能力捕获更长的上下文，卷积也可以用来加速LSTM。

递归神经网络

RNN&CNN均视语言为序列，但从语言学角度看，其本质是层次化的：单词被组合成高阶短语和从句，这些短语和从句本身可以根据一组规则递归组合。递归神经网络即产生于将句子视为树的语言学思想。

递归神经网络从下到上构建序列的表示，这一点不同于从左到右或从右到左处理句子的 RNN。在树的每个节点上，通过组合子节点的结果来计算新的结果。由于树也可以被视为在 RNN 上强加不同的处理顺序，所以 LSTM 自然地也被扩展到树上。

RNN 和 LSTM 可以扩展到使用层次结构。单词嵌入不仅可以在本地学习，还可以在语法语境中学习；语言模型可以基于句法堆栈生成单词；图卷积神经网络可以基于树结构运行。