深度学习网络总体流程

1. 环境的搭建

pytorch

2. dataloader

该部分是批量返回数据的作用

3. 搭建模型

基于nn.Module构造的model类

其主要部分是神经网络layer和前向计算的forward函数

4. 损失函数

从特征空间映射到R上的度量函数

常见的损失函数

1. L2损失（回归）

2. 交叉熵（概率）

5. 训练函数（优化方法）

寻找降低损失函数的优化方法，假定损失函数是凸函数

常见优化方法

1. 随机梯度下降法SGD（最常见最适用）

2. ADAM（还没学）

3. 0-1损失（分类过程）

6. 搭建训练过程

设定常见的超参数如epoch， batch_size并初始化参数

对每一次epoch：

1. 存储模型参数

2. 可视化训练误差loss

3. 可视化测试误差用于调参

在每一batch_size：

1. 计算损失函数

2. 梯度清零（在第二次迭代开始生效）

3. 令所有参数对损失函数求梯度（梯度清零防止累加）

4. 参数根据优化方法（利用梯度）更新

杂项

一般将过程456写成一个train函数