立即学习:https://edu.csdn.net/course/play/26698/339454?utm_source=blogtoedu
优化
- 优化(数学概念):在特定约束条件下,选择变量值。使目标函数最大化/最小化
梯度下降法:是优化算法中非常实用、非常广泛的一类算法,尤其在人工智能、深度学习中。在深度学习中,经常听到“训练”,“训练”一个神经网络。
何为训练呢?
其实,本质上就是用梯度下降方法去优化神经网络中的权重参数。
何为下降:就是找函数的最小值,想让函数最小化
因为问题是最快回到山底,所以我们沿着最陡峭的方向行走、这个最陡峭的方向就叫做梯度,因为既有方向也有大小,所以梯度本质上也是向量。梯度是有方向的。
下上问题:梯度:垂直于等值线。
梯度计算练习:
- 虽然有梯度表达式,但是在每一个点上,梯度的方向也是在变的
- 对每个变量进行偏导数。然后把取值(1,2)带进去,就能得到函数在某点的梯度方向[7,6]
- 若要求在某点的切线,在已知梯度方向情况下(梯度的方向其实是所要求的切线的法线,或者说切线是与它垂直的方向表达,所以进而可以获得切线的表达),