我们知道,在深度学习中权重更新是为了使得 Loss Fuction 变小,权重微量的增加或者减小都会对 Loss Fuction 造成一定的影响。为了使得 Loss Fuction 变小,那么就需要改变权重的值使得 Loss Fuction 朝着减小的方向进行。权重是这样更新的:前权重的值 - 学习率 × df/dw ,df/dw 即 Loss Fuction 对该权重的偏导,可正可负。所以,权重在更新的过程中可能增大,也可能减小。
深度学习权重更新的误解
最新推荐文章于 2024-09-04 13:25:46 发布