1、准备数据,将原始数据格式调整为训练时需要的格式
2、设置正则化率,将其作为参数传入前向传播函数,正则化可以避免模型过拟合
3、定义前向传播函数,如果是模型训练阶段,对权重参数使用正则化,如果是验证和检测阶段,则不需要使用正则化
4、设置学习率,在最小化损失函数时用到,学习率设置包含基础学习率,当前训练轮数,完成一次样本训练所需训练轮数,学习梯度递减率四个参数,梯度递减可以避免来回返回确不能使损失最小,还可以前期加速递减,后期慢慢接近,尽可能的达到最小化损失
5、定义损失函数,根据预测的类型是分类还是回归定义不同的损失函数
7、计算损失函数值+正则化损失部分,使用前面设置的学习率设置,最小化损失函数
8、设置滑动平均率,对所有可训练的参数使用滑动平均操作,包括权重和偏移项,滑动平均能增强模型在测试数据上的健壮性
9、开启session,开始训练过程。