神经网络超简短介绍

CNN

RNN与LSTM区别

循环神经网络模型（RNN）是一种节点定向连接成环的人工神经网络，是一种反馈神经网络，RNN利用内部的记忆来处理任意时序的输入序列，并且在其处理单元之间既有内部的反馈连接又有前馈连接，这使得RNN可以更加容易处理不分段的文本等。但是由于RNN只能对部分序列进行记忆，所以在长序列上表现远不如短序列，造成了一旦序列过长便使得准确率下降的结果。
长短期记忆模型（LSTM）是RNN模型的一种特殊结构类型，其增加了输入门、输出门、忘记门三个控制单元（“cell”），随着信息的进入该模型，LSTM中的cell会对该信息进行判断，符合规则的信息会被留下，不符合的信息会被遗忘，以此原理，可以解决神经网络中长序列依赖问题。
原文链接： https://blog.csdn.net/qq_32113189/article/details/79462696.

RNN

LSTM

EMLO

可前向反向，也可deep

BERT

ERNIE

简介：https://zhuanlan.zhihu.com/p/103208601.

GPT

Self-Attention