2.人工智能原理-方差代价函数：知错

目录

       一、如何去评估误差？

        二、事物出现的频率收敛于它的概率

       三、代价函数：

       四、编程讲解

       五、总结

       六、往期内容

---

 

 

一、如何去评估误差？

       在上节课中，我们聊到McCulloch-Pitts神经元模型和rosenblatt感知器，最后我们说古老的rosenblat启发了现代神经网络的研究，但是其本身已经并不常用了。让我们来看看现代神经网络的实现方式。从rosenblatt感知器身上可以看出来参数的自适应调整，那是一个人工神经元的精髓，rosenblatt感知器已经给出了调整的详细方法，怎么看似乎都没有问题，但是总感觉差点意思，为什么它就该是这个样子？正所谓横看成岭侧成峰，远近高低各不同。让我们换个角度去看待这件事情，或许能更简单一点。首先问大家一个问题，我们该如何去评估误差？你的第一反应可能是差值，这是标准答案减去预测答案就是误差，这样好吗？这样不好。

       我们举个极端且简明的例子，假设样本只有两个豆豆，那么这时候预测曲线在这两个豆豆上的误差是多少？第一个的误差是0.15，第二个，是-0.15，所以预测曲线在两个动图上总体误差是零。误差是零，所以现在是完美预测？很明显不是。

这就是用差值评估预测误差的问题，差值有正负，所以相互之间会发生抵消作用机制。

       也许你会立马想到用差值的绝对值，因为面对误差比标准大0.15还是小0.15，其实和标准答案的差距都是0.15，我们并不关心正或者负。不错，是一个方法，用绝对值处理的误差叫做绝对差。但是绝对值在数学处理和编码处理上都不是特别的方便，于是人们提出了另外一种更好的误差评估方式，把差值取个平方，正负号也就消失了，这种误差也就是所谓的平方误差。很明显，我们对一批豆豆预测的结果和标准答案之间的平方误差越小，说明偏离事实越小，小蓝的思考也就越接近真相。

       我们可以打开本节课的可视化工具，随意的调整W的值，观察平方误差的变化。而我们知道，实际上是参数W决定了预测函数的样子。换句话说，每次W取不同的值，产生的误差也会不同。如果我们把误差和W之间的关系画出来，它是这样的一个曲线，好像一个开口向上的一元二次函数。没错，这是一个开口向上的一元二次函数，且慢，怎么证明它是一个开口向上的一元二次函

数？其实很简单，研究一组豆豆太麻烦了。不如我们先看一个豆豆，大小是0.4，毒性是0.68，那么小蓝的预测就是W*0.4，误差是这个样子。你看，这不就是一个标准的一元二次函数吗？W是自变量，B是因变量，A=0.16，B=-0.544，C=0.4624，非常标准的一个开口向上的一元二次函数。

       有的同学或许会问了，这只是一个豆豆，那么对于一组豆豆的误差？分析如下：

也就是说，对于任意一个大小和毒性的豆豆，它的预测误差和参数W的关系都是一个开口向上的抛物线，所以在一组豆豆上计算出来的整体误差还是不是一个