6段Python代码刻画深度学习历史：从最小二乘法到深度神经网络

最小二乘法

深度学习的一切都起源于这个数学片段（我把它用Python 写了出来）：

 

这一方法是 1805 年巴黎数学家阿德利昂·玛利·埃·勒让德首次提出的（1805，Legendre），勒让德建立了许多重要的定理，尤其是在数论和椭圆积分（Elliptic Integrals）方面，提出了对素数定理（Prime Number Theorem）和二次互反律（Quadratic Reciprocity）的猜测并发表了初等几何教科书。他对预测彗星的未来位置特别痴迷。他找到了根据彗星此前的几个位置计算其轨迹的方法。

他尝试了几种方法，终于找到了一个让他满意的方法。勒让德先猜测彗星的未来位置，然后平方其误差，重新做出猜测，以减少平方误差的和。这是线性回归的种子。

 

上述代码中，m 是系数，b是预测中的常数，坐标是彗星的位置。我们的目标是找到m和b的组合，使其误差尽可能小。

 

 

这就是深度学习的核心理念：输入，然后设定期望的输出，找到二者的相关性。

梯度下降

勒让德手工降低误差率的方法很耗时。荷兰诺贝尔奖得主Peter Debye 在一个世纪后（1909年，Debye）正式确定了解决方案。

让我们想象一下，勒让德有一个参数需要担心——我们称之为X。Y轴表示每个X的误差值。勒让德寻找的是最低误差时X的位置。在这种图形化表示中，我们可以看到误差Y最小化时，X = 1.1。