赋值:
a:=b
a:=a+1
而不能使用a=b,a=a+1,这两行只相当于做了一个判断
梯度下降
梯度下降是一个用来求函数最小值的算法,我们将使用梯度下降算法来求出代价函数?(?0, ?1) 的最小值。
批量梯度下降(batch gradient descent)算法的公式为:
其中?是学习率(learning rate),它决定了我们沿着能让代价函数下降程度最大的方向
向下迈出的步子有多大,在批量梯度下降中,我们每一次都同时让所有的参数减去学习速率
乘以代价函数的导数。
在梯度下降算法中,还有一个更微妙的问题,梯度下降中,我们要更新?0和?1 ,当 ? =
0 和? = 1时,会产生更新,所以你将更新?(?0)和?(?1)。实现梯度下降算法的微妙之处是,
在这个表达式中,如果你要更新这个等式,你需要同时更新?0和?1,我的意思是在这个等式
中,我们要这样更新:
?0:= ?0 ,并更新?1:= ?1。
实现方法是:你应该计算公式右边的部分,通过那一部分计算出?0和?1的值,然后同时
更新?0和?1。【同步更新】
convex function 凸函数