用偏导数作为梯度下降算法中下降量

机器学习2-7课讲梯度下降算法

 

首先,这个算法基于cost函数J(θ0,θ1)的偏导数,目的是找J的最小值(局部最小),J最小代表h与实际的(x,y)分布最接近。

 

运算时需要将(θ0,θ1)带入到每次运算中的hθ。因为每次梯度下降运算后,hθ=θ0+θ1x都会发生变化。

 

为什么偏导数是全部误差的均值,(再乘系数α)?

因为,那不是hθ的导数,而是代价函数J(θ0,θ1)的偏导数,想想什么是代价函数,定义代价函数就是为了计算函数估计值与实际值之间的方差,所以代价函数的导数自然与误差有关。

为什么用偏导数作为梯度下降算法中的下降量?

吴教授视频里没说,应该数学的成熟算法。怎么发明出来的我不知道,但用导数做下降量有个好处,当(θ0,θ1)接近最小值时,一般情况下导数趋于0,下降幅度将逐步减小,也就是说导数是下降的速度,导数趋于0,下降速度趋于0,这样无论做多少次迭代运算,计算结果都在最小值附近,理论上无限接近最小值,而不会偏差到其他位置。最小值点就像有吸引力的黑洞一样,不会让计算结果偏离它。

发布了88 篇原创文章 · 获赞 54 · 访问量 42万+
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 编程工作室 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览