Batch梯度下降法求回归函数J

以两个参数x,y为例,步骤如下：

1.给定x和y的初始值，通常设为0；

2.不停地改变x和y的值，使回归函数J（x,y）变小，直到求出最小值或者局部最小值。

就是从起点出发，沿着最快的路径下降到最低点。

1.a表示学习率，代表梯度下降的速度，a说明下降的速度越快；同时a也控制着我们以多大的幅度更新参数x和y

2.a右边的是导数项,代表斜率。

3.x和y需要同步更新，若先更新x，则更新y时会使用新的x

 

1. 当起始点位于右边时，导函数为正值，x减去一个正数从而变小慢慢趋向中间低点；当起始点位于左半边时，导函数为负值，x减去一个负数从而变大慢慢趋向中间低点。