本文介绍了梯度下降算法在优化代价函数中的应用，强调了不同起点可能导致局部最优解而非全局最优解。学习率α决定了参数更新的速度，偏导数用于指导参数调整。在单参数实例中，分析了偏导数作用和学习率的影响。若学习率太小，过程缓慢；过大则可能错过最优解导致发散。当梯度接近0时，表明到达局部最优解。
梯度下降算法可以用在更一般的问题上，比如计算minimize J(θ0…θn)，用以优化代价函数。
不断地改变θ0和θ1的值，直到代价函数J达到最小值。
梯度下降法的一大特点就是，不同位置出发，得到的可能是局部最优解，而非整体最优解。
repeat until convergence -> 重复执行，直到收敛
:=代表赋值，=代表真假判断
α称为学习率，控制以多大的幅度更新参数θj，即控制我们每次走一步步数的大小。
α越大，梯度下降越快。
会用到偏导数和导数的知识。
梯度下降中，θ0, θ1…θn都是同步更新的，不能将刚更新的值用来计算下一个参数。
单参数简单实例
假设我们想最小化的函数只有一个参
最低0.47元/天 解锁文章
1410
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
