【机器学习】【线性回归】梯度下降算法核心思想剖析和数学公式推导

版权声明:本文为博主原创文章,未经博主允许不得转载,转载请注明文章来源,联系方式:vipsummer@139.com https://blog.csdn.net/u012421852/article/details/79558833

假设函数

训练数据集的假设函数(hypothesis function),又称模型函数:

    

代价函数

评估假设函数精确度、拟合度的代价函数(cost function)

    

代价函数的核心功能:代价函数的函数值用来评估假设函数的精确度、拟合度。精确度、拟合度的比较对象是我们提供的训练数据集。

如果有一组(θ0,θ1,……,θn)使得代价函数取得最小值,则将这组(θ_0,θ1,……,θn)对应的假设函数对于我们提供的训练数据集有(最)很好的精确度,拟合度。即如果我们给一个待验证的特征值x,则通过h(x)计算出来的输出数据y=h(x),和实际的数据y最接近。

梯度下降算法的目的

找到一组(θ0, θ1,……,θn),使得代价函数的值最小,从而得到拟合度很好,精确度很高的假设函数 。

下面以简单线性回归为例,来讲解梯度下降算法。

梯度下降算法的公式


梯度下降算法的核心思想讲解

学习速率α

其中的偏导数的系数α是学习速率(Learning Rate),且α>0。

1)α越大,学习速率越快,α不是越大越好。如果α太大的话,会导致梯度下降算法在图形的上坡和下坡上面来回震荡计算,严重的结果可能无法收敛;

2)如果α太小的话,会导致梯度下降算法的计算效率很低,虽然最后可以得到最佳的(θ0,θ1),但是计算速度会很慢,训练时间会很长。

梯度下降的数学支撑

代价函数的最小值处的每个θ,一定满足每个θ的偏导数都等于0,所以才可以用迭代法求解每个θ。

每次梯度下降迭代得到的θ有什么性质

每次梯度下降迭代得到的θ往往都是代价函数的局部最优解,因为代价函数在θ处有多个方向可选择去移动得到新的θ,而偏导数方向移动得到的新的θ才是当前θ的最优解移动目标点。


梯度下降算法的推导公式


梯度下降算法的数学公式的推导过程

θ0的推导过程


θ1的推导过程


至此完成了梯度下降算法的核心思想讲解、数学公式的推导。

(end)

阅读更多

没有更多推荐了,返回首页