深度学习入门：从全连接网络到Transformer架构

引言：从感知机到深度学习的范式革命

1958年，Frank Rosenblatt提出的感知机模型拉开了神经网络研究的序幕。然而直到2012年AlexNet在ImageNet竞赛中取得突破，深度学习才真正进入黄金时代。本文将带您系统梳理深度学习架构的演进路径，通过PyTorch实战掌握Transformer核心原理。

 

 第一部分：全连接网络（Fully Connected Networks）

 

 1.1 基础原理

全连接网络由输入层、隐藏层和输出层构成，每层神经元与相邻层全部连接。数学表达式为：

$$a^{l} = f(W^{l}a^{l-1} + b^{l})$$

其中$f$为激活函数，常用ReLU解决梯度消失问题。

 

代码示例：PyTorch基础网络搭建

python

import torch.nn as nn

 

class FCNet(nn.Module):

    def __init__(self, input_size, hidden_size, num_classes):

        super().__init__()

        self.fc1 = nn.Linear(input_size, hidden_size)

        self.relu = nn.ReLU()

        self.fc2 = nn.Linear(hidden_size, num_classes)

    

    def forward(self, x):

        out = self.fc1(x)

        out = self.relu(out)