深度学习
文章平均质量分 66
顾璃95
大二小菜鸟一枚
展开
-
Datawhale X 李宏毅苹果书AI夏令营(2)
批量的概念:批量大小对梯度下降法的影响:实验观察:动量法(Momentum Method):动量法的好处:自适应学习率:总结:原创 2024-08-27 22:11:50 · 361 阅读 · 1 评论 -
Datawhale X 李宏毅苹果书AI夏令营
在实际应用中,直接计算海森矩阵可能非常昂贵,因为它涉及到损失函数的二阶导数,并且计算复杂度随着参数数量的增加而呈平方增长。因此,人们通常寻找更高效的算法来近似或直接利用一阶导数信息进行优化,如使用梯度下降法、牛顿法或拟牛顿法等。尽管如此,理解泰勒级数近似和海森矩阵的概念对于深入理解优化过程仍然非常重要。海森矩阵的特征值: - 所有特征值正:正定矩阵,临界点为局部极小值。:梯度为零但不是局部极小值或局部极大值的点,形状类似马鞍。:梯度为零且周围损失都较高的点。:梯度为零且周围损失都较低的点。原创 2024-08-27 21:38:19 · 382 阅读 · 0 评论