Datawhale X 李宏毅苹果书AI夏令营 - 第三章:深度学习基础
![[Pasted image 20240506160317.png]]![[Pasted image 20240506160520.png]]损失函数 L(θ)L(θ)L(θ) 在 θ′θ ′θ′ 附近可近似为上式,上式跟梯度和海森矩阵有关,梯度就是一次微分,海森矩阵里面有二次微分的项。在临界点,梯度 ggg 为零,因此 (θ−θ′)Tg(\theta - \theta')^Tg(θ−θ′)Tg 为零。所以在临界点的附近,损失函数可被近似为 L(θ)≈L(θ′)+12(θ−θ′)TH(θ−θ′)L(\th
原创
2024-08-27 21:50:25 ·
658 阅读 ·
1 评论