深度学习的训练流程(前向传播,损失函数,优化器,反向传播更新w和b)

代价函数是凸函数
在这里插入图片描述
但是模型中加完非线性激活 后,非线性层之间的多次复合变换,使得模型变的极为复杂,求出的预测值带入损失函数后,代价函数就不见得是凸函数了
在这里插入图片描述
我们要求出代价函数的全局极小值点,由于有理论指出:代价函数的大部分极小值点足够接近全局极小值点。所以我们求极小值点就可以
方法: 使用梯度下降算法(梯度指函数在该点处沿着该方向增长最快,那么我们沿着梯度的反方向,就可以使该函数在该点出下降最快)
在这里插入图片描述
为了使w和b最快达到最优值,从而最小化损失值(就是求出代价函数的极小值),我们使用优化器来更新w和b,不同优化器效果不同
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

训练的整体流程: 比如batchsize=3,三张图进入网络,一开始先使用初始化的w和b进行训练,前向传播经过每层后,得出每个像素的预测值,然后求出三张预测图的总像素的平均值,与三张标注图的总像素的平均值计算出损失值(损失函数的值),为了最小化损失函数的值,使用上面不同的优化器中的不同方法更新w和b(这些方法的公式的其中都会用到损失函数对w求偏导),更新一层w和b就放到该层,用来当下次进三张图时的w和b,一层一层往前更新(这就是反向传播的过程)。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值