7天深度学习-day3-梯度下降

1、梯度下降实现

我们了解到为了最小化误差函数，我们需要获得一些导数。我们开始计算误差函数的导数吧。首先要注意的是 s 型函数具有很完美的导数。即

               σ′(x)=σ(x)(1−σ(x))

原因是，我们可以使用商式计算它：

                                    

现在，如果有 m个样本点，标为 x^(1), x^(2), ......, x^(m),, 误差公式是：

 预测是 

我们的目标是计算 E,E, 在单个样本点 x 时的梯度（偏导数），其中 x 包含 n 个特征，即x = 

 

为此，首先我们要计算 

类似的计算将得出： 

                                                                        

 总之

                                              

 如果思考下，会发现很神奇。梯度实际上是标量乘以点的坐标！什么是标量？也就是标签和预测直接的差别。这意味着，如果标签与预测接近（表示点分类正确），该梯度将很小，如果标签与预测差别很大（表示点分类错误），那么此梯度将很大。请记下：小的梯度表示我们将稍微修改下坐标，大的梯度表示我们将大幅度修改坐标。

如果觉得这听起来像感知器算法，其实并非偶然性！稍后我们将详细了解。

---

                                                                                    感知器算法:

 感知器算法:《李航：统计学习方法》--- 感知机算法原理与实现  https://blog.csdn.net/u013358387/a