MLP/CNN/RNN/Transformer主流深度学习模型的区别

1. 多层感知机（MLP）

核心特征：

• 结构：MLP 是一种基本的前馈神经网络，包含一个输入层、一个或多个隐藏层以及一个输出层。每层由全连接的神经元组成。
• 用途：适用于简单的分类和回归任务。
• 限制：不适用于处理序列数据或图像数据，因为它不具备处理输入之间时间或空间关系的能力。

数学表达：

2. 卷积神经网络（CNN）

核心特征：

• 结构：由卷积层、池化层（下采样）和全连接层组成。
• 用途：特别适合于图像处理，用于图像分类、对象检测等。
• 优点：通过局部连接和权重共享，有效降低了模型参数的数量，能够很好地捕捉图像中的空间层级结构。

工作原理：

• 卷积层：通过滤波器（kernel）提取输入图像的特征。
• 池化层：降低特征维度，增强模型的泛化能力。

3. 递归神经网络（RNN）

核心特征：

• 结构：具有循环连接的网络结构，使得信息可以在序列的时间步之间传递。
• 用途：处理序列数据，如时间序列分析、自然语言处理中的文本生成。
• 问题：梯度消失或爆炸问题，这限制了模型学习长距离依赖。

工作原理：

• 在每个时间步，当前输入和前一时间步的隐藏状态共同决定当前的输出和新的隐藏状态。

4. Transformer

核心特征：

• 结构：基于自注意力机制的编码器-解码器架构。
• 用途：在处理序列数据任务（尤其是NLP任务如机器翻译）中表现优异。
• 优点：能够并行处理序列数据，有效捕捉长距离依赖关系。

工作原理：

• 自注意力机制：允许模型在序列内的任何位置之间直接建立依赖关系，计算效率高。
• 位置编码：由于模型本身不具备处理序列顺序的能力，通过添加位置编码来保留序列中的位置信息。

总结比较

• MLP：最简单的前馈网络，不处理序列数据。
• CNN：通过局部感受野和参数共享，擅长处理图像。
• RNN：擅长处理序列数据，但难以捕捉长序列中的依赖关系。
• Transformer：利用自注意力机制高效处理序列数据，解决了RNN的长距离依赖

问题，适用于需要复杂关系理解的任务。