- 博客(2)
- 收藏
- 关注
RSS订阅原创 梯度下降、牛顿法
目录一、梯度下降（最速下降）二、牛顿法一、梯度下降（最速下降）最优化：目标是寻找x值，使得函数f(x)逐步往f(x)最小值方向移动。直观解释：从几何意义上来说，梯度向量就是函数f增加最快的地方，或者说，沿着梯度向量的方向，更加容易找到函数的最大值。反过来说，沿着梯度向量相反的方向（加负号），则更加容易找到函数的最小值。简单推导（泰勒+导数推导不严格，一般就是直接设差值为负梯度。）因此，在梯度下降中，我们先选取一个初始值x和常数α>0，然后不断通过上式来迭代，直到达到停止条件。代码举例
2020-07-12 16:05:07
804
2
原创 梯度向量、Jacobian、Hessian矩阵
目录一、梯度向量定义二、Jacobian矩阵定义举例三、Hessian矩阵定义举例四、梯度向量、Jacobian、Hessian的对比【一句话引入】海森矩阵相当于 f(x1,x2,…,xn) 的梯度向量 g(x) 关于自变量 (x1,x2,…,xn) 的雅可比矩阵。一、梯度向量定义目标函数f为单变量，是关于自变量x=(x1,x2,…,xn)T的函数，单变量函数f对向量x求梯度，结果为一个与向量x同维度的向量，称之为梯度向量：二、Jacobian矩阵雅可比矩阵的重要性在于它体现了一个可微方程与给
2020-07-11 18:08:41
5229
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人