深度学习深度学习（五）如何找到最好的方程

本文链接：https://blog.csdn.net/wwwlgy/article/details/121210422

回顾一下，上一个章节中，我们找到了一个评判两个方程好坏的标准，标准也很简单，很数学化，两个方程，计算他们的E，E较小那个就是比较好的！

沿着这个思路，我们有没有可能找到一个最好的呢？

有！这个问题转换成数学问题就是，在众多 $w_{1}$ , $w_{2}$ ,b中找到一个组合，使得E最小，即E的最小值，那么这个 $w_{1}$ , $w_{2}$ ,b所代表的方程，就是最好的方程！

求E最小值！变量是 $w_{1}$ , $w_{2}$ ,b也许你又要回到高中数学的噩梦，怎么又是求最小值？别着急，有方法论。我们先看看我们的目标，是求下面方程E的最小值：

深度学习深度学习（五）如何找到最好的方程

好，目标清楚了，我们先把目标放一旁，先讲方法论。

我们先假定有一个现实的问题：

深度学习深度学习（五）如何找到最好的方程

图中那个二B青年准备下到山底，毕竟是理科生，他会不断的问自己一个问题，他当前如果向外迈出一步，怎么迈，是下降的最快的。那当然是以自己为起点，向周围看一下，找到坡度最陡的那个路线，迈出去。于是他很准确的迈了一步，如下图：

深度学习深度学习（五）如何找到最好的方程

好，第一步是成功的，那么第二步呢，显然和第一步思路一样，找出最陡的那个路线，继续。。。。当然，每次都是最陡峭的，那他的下降速度，显然是最快的，于是，他很快就下到了山底。

深度学习深度学习（五）如何找到最好的方程

好了，理论就是那么简单，这座山，我们可以理解就是这个cost function本身。这个二B青年，开始的位置，就是我们随便一个起始的方程，也即是起点，比如我一开始拍脑袋的方程Z=3 $x_{1}$ +2 $x_{2}$ -25即 $w_{1}$ =3, $w_{2}$ =2,b=-25的时候。那么，这个二B青年每迈一步，就是每次在上一个 $w_{1}$ , $w_{2}$ ,b值上，做了一个变化即 $w_{1}$ - $d_{1}$ , $w_{2}$ - $d_{2}$ ,b- $d_{3}$ 。 (这里的 $d_{1}$ ， $d_{2}$ ， $d_{3}$ 是指在每个维度上的一个变化量)