梯度下降算法的思想
初始化senta1,senta0
不断改变senta1,senta0,直到J(senta1,senta0)到达一个全局最小值,或局部极小值。
由下列这张图来看其结果,红色区域值较大,蓝色区域值较大
实现最小点的方法:不断求导,寻找梯度下降方向,不断迭代,最终找到最小点
初始值在不同位置时,梯度下降的方向不同,最终找到的值并不相同,我们称其找到的点为局部最小值。
梯度下降法执行:
学习率:主要是用来优化步长
通过公式来改变参数
计算完成,同时更新(正确做法)
梯度下降思想无论在那边,梯度不断下降,都是向最小值方向移动
学习率的选取:必须适中,太大,距离太长,永远得不到最小值,太小,速度太慢,在使用中,我们通过不断调整学习率来得到最佳选取值
梯度下降法求解线性回归
线性回归的代价函数是凸函数,所以总可以找到最小点
非凸函数:有很多局部最小值的函数
凸函数:只有全局最小值