1、梯度下降实现
我们了解到为了最小化误差函数,我们需要获得一些导数。我们开始计算误差函数的导数吧。首先要注意的是 s 型函数具有很完美的导数。即
σ′(x)=σ(x)(1−σ(x))
原因是,我们可以使用商式计算它:
现在,如果有 m个样本点,标为 x^(1), x^(2), ......, x^(m),, 误差公式是:
预测是
我们的目标是计算 E,E, 在单个样本点 x 时的梯度(偏导数),其中 x 包含 n 个特征,即x =
为此,首先我们要计算
类似的计算将得出:
总之
如果思考下,会发现很神奇。梯度实际上是标量乘以点的坐标!什么是标量?也就是标签和预测直接的差别。这意味着,如果标签与预测接近(表示点分类正确),该梯度将很小,如果标签与预测差别很大(表示点分类错误),那么此梯度将很大。请记下:小的梯度表示我们将稍微修改下坐标,大的梯度表示我们将大幅度修改坐标。
如果觉得这听起来像感知器算法,其实并非偶然性!稍后我们将详细了解。
感知器算法:
感知器算法:《李航:统计学习方法》--- 感知机算法原理与实现 https://blog.csdn.net/u013358387/a