吴恩达机器学习-2.5-2.7梯度下降

Gradient descent梯度下降

可以解决函数最小化问题。同时更新两个未知数。

后面的是，学习率*斜率

2.6梯度下降知识点总结

1、即使学习速率保持不变，递归下降法也可以收敛到局部最低点。

2、当接近局部最小值时，递归下降将会自动减小跨越的幅度，因此无需随之时间的变化减小的值。

2.7线性回归的梯度下降

 递归下降法

线性回归方程：线性假设、平方差代价函数

 递归下降使用方法，直接带入上图所示微积分后的公式即可。

递归下降法相比于其他求得代价函数J的最小值，比如正规方程组方法不用多步骤使用递归下降法，更适合大数据集。