深度学习流程

1、首先将数据集随机分成train，validation，test三个集合。（后面只讨论训练和测试，因为验证和测试类似，只是用它来观察模型才需要它）

分成三个集合的目的：

训练集用来对模型的权重参数/普通参数进行训练（即进行更改，或找到更好的参数），使得模型的输出结果更接近真实值。

验证集用来在帮助人工调参，这里调的是超参，一个目的是及时发现模型的问题，及早终止训练重新调参，另一个目的是验证模型的泛化能力，判断是否过拟合。参考文献：机器学习中的验证集的作用和如何使用_阿华Go的博客-CSDN博客_机器学习验证集的作用

测试集用来对最终的模型进行测试，得出最终模型的优劣。

注：许多时候会使用k折交叉验证的方法，多次划分数据集，取测试准确率的平均值，目的是对有限的数据形成重用。参考文献：机器学习为什么需要交叉验证？怎么使用k-fold cross validation（k-折叠交叉验证）_程序员表哥鱼大的博客-CSDN博客

这里忽略样本的预处理。

2、然后设置模型，包括模型的结构，模型权重参数和超参的初始化等。一般权重参数随机初始化或者从其他模型中迁移过来，超参根据经验初始化。

3、接着是训练过程。一般将训练集划分成iterations个batch，每个batch大小为batchsize，最后一个batch大小可能会小于batchsize。每次将一个batch中的样本输入模型，得到预测结果，计算loss=，将误差反向传播，更改一次权重参数，输入下一个batch。当将所有训练集中样本，即所有batch中样本输入进模型一遍后，我们称经过了一个epoch。只训练一个epoch是不够的，要再来几遍，即将训练集反复地输入模型。 

什么时候结束训练呢？一般先设一个较大的epoch数量，然后每次epoch后计算验证集的准确率，如果比之前最好的模型准确率还高就保存新模型，当验证集准确率开始长时间下降，说明过拟合了，这时的模型是最好的。

这里不讨论常用的loss，不讨论如何将loss反向传播。

4、跳过验证过程。

5、最后是测试过程。测试过程将所有测试样本输入模型，得到预测结果，计算准确率。

 

这里不讨论不同输出格式的准确率计算方法。