Gradient descent梯度下降
可以解决函数最小化问题。同时更新两个未知数。
后面的是,学习率*斜率
2.6梯度下降知识点总结
1、即使学习速率保持不变,递归下降法也可以收敛到局部最低点。
2、当接近局部最小值时,递归下降将会自动减小跨越的幅度,因此无需随之时间的变化减小的值。
2.7线性回归的梯度下降
递归下降法
线性回归方程:线性假设、平方差代价函数
递归下降使用方法,直接带入上图所示微积分后的公式即可。
递归下降法相比于其他求得代价函数J的最小值,比如正规方程组方法不用多步骤使用递归下降法,更适合大数据集。