浅谈平方和误差函数

 线性回归，误差函数是平方和函数，神经网络中也会选用平方和误差函数，但是为什么误差函数是平方和，而不是绝对值、三次函数或者其他的形式呢？这个问题，有多个角度可以阐释。

1、从概率的角度

      不管是线性回归，还是神经网络或者其他算法，我们可以假设实际的(理想的)模型是F(x)。在实际任务中，我们将从数据集{(Xi,Yi)}，i = 1,2.......,n,中学习出一个模型f(x)。数据集可以认为是从理想的模型F(x)中采样，并添加高斯噪声而形成。

      从这个角度看，数据集中的每一个点(Xi,Yi)均服从于均值为f(Xi),方差为某一固定值的高斯分布。所以数据(Xi, Yi)概率如下：

           

      而判断一个模型是否足够接近理想模型，可以比较数据集在当前模型下出现的概率࿰