网络模型（MLP-全连接神经网络）

概念

多层感知机，用于特征融合。

h = wx + b（w：权重，b：偏移量）
每个神经元之间都有自己的权重，参数很多，反向传播时更新。

实验（手写数字识别）

数据集：MNIST。
网络结构：全连接 + 标准化（BN） + 激活（ReLU）。
优化器：Adam。
损失函数：交叉熵（CrossEntropyLoss），自带 one-hot 类型和 softmax。
输出：one-hot 类型，结果为最大的索引值。

网络

import torch
from torch import nn


class MyNet(nn.Module):
    def __init__(self):
        super().__init__()
        # 全连接 + 标准化（BN） + 激活（ReLU）
        self.mlp = nn.Sequential(
            nn.Linear(1 * 28 * 28, 128), nn.BatchNorm1d(128), nn.ReLU(inplace=True),
            nn.Linear(128, 64), nn.BatchNorm1d(64), nn.ReLU(inplace=True