神经网络训练

神经网络训练

目标管理

损失函数、拟合优度（正则化、dropout、数据增强）

过程管理

学习率+权重更新、梯度下降（随机梯度下降、批量梯度下降）、优化器

初始管理

数据预处理、数据输入、权重初始化、超参数优化（贝叶斯）

Trainin dataset >= Epoch = M x iteration. 1 iteration = 1 batch = N x sample.
使用整个训练集数据完成训练成为1个epoch （或者一个回合round）。1个epoch结束后，可打乱数据 shuffle，再进行下一个epoch的训练。
权重初始化后，每一个iteration后 权重根据学习率更新一次,下一个epoch在此前基础上继续更新权重，直到损失函数最小化。