1、如何知道梯度下降算法是否正常工作?
当在多元线性回归模型上使用梯度下降算法求解代价函数对应的最优参数时,有可能无法收敛到局部最优值,即梯度下降算法没有正常工作,那么,我们有什么样的办法可以知道梯度下降是否正常工作呢?
当然,我们可以根据代价函数随迭代次数的变化曲线来获悉梯度下降是否正常工作(当然,通过自动收敛测试算法也可以获知,不过不常用)
不同的代价函数随迭代次数的变化曲线可以反映的情况是不一样的,下图1是正常工作时的变化曲线,它的特征是,每一次迭代,代价函数的值 J ( θ ) J(\theta) J(θ)都会减小&#x