2.3 梯度下降法

梯度下降算法的思想

初始化senta1,senta0
不断改变senta1,senta0，直到J(senta1,senta0)到达一个全局最小值，或局部极小值。

由下列这张图来看其结果，红色区域值较大，蓝色区域值较大

实现最小点的方法：不断求导，寻找梯度下降方向，不断迭代，最终找到最小点

初始值在不同位置时，梯度下降的方向不同，最终找到的值并不相同，我们称其找到的点为局部最小值。

梯度下降法执行：

学习率：主要是用来优化步长
通过公式来改变参数

计算完成，同时更新（正确做法）
梯度下降思想无论在那边，梯度不断下降，都是向最小值方向移动

学习率的选取：必须适中，太大，距离太长，永远得不到最小值，太小，速度太慢，在使用中，我们通过不断调整学习率来得到最佳选取值
梯度下降法求解线性回归

线性回归的代价函数是凸函数，所以总可以找到最小点
非凸函数：有很多局部最小值的函数
凸函数：只有全局最小值