NNDL 作业3 反向传播BP
损失函数(均方误差):固定为0.0107,相比于w的初始值定为:0.2, -0.4, 0.5, 0.6, 0.1, -0.5, -0.3, 0.8 损失函数为0.0103相对较大,但是总的来说与上面的随机定义w 的初始值相比,还是w随机初始化比较好,以便模型能够探索不同的解空间并找到一个较好的解,更容易得到最优值。编程一般使用梯度下降的优化方法,在每一步中,计算每个神经元的误差项,然后用这些误差项来更新权重,使用学习率来控制权重的更新步长。在PyTorch中,张量的值是以浮点数形式存储的,因此在使用。
原创
2023-10-15 19:45:42 ·
123 阅读 ·
0 评论