（吴恩达笔记 1-1）附——为什么用最小平方和做目标函数

那么接上面一节讲的，为什么要用最小平方和作为目标函数呢？对于这个问题，有关博客就数学相关的理论知识已经做了很详细的解释

【转载】机器学习—–线性回归浅谈（Linear Regression）

从概率层面解释-回归模型的目标函数：

基本上每个模型都会有一个对应的目标函数，可以通过不同的最优化求解方法（梯度下降，牛顿法等等）对这些对应的目标函数进行求解。线性回归模型，我们知道实际上是通过多个自变量对自变量进行曲线拟合。我们希望找到一条可以较好拟合的曲线，

那我们如何判断一条曲线的拟合程度的好坏。上面讲到，我们采用的是最小二乘法（预测值和真实值得误差的平方和），那为什么要用这个作为目标函数呢？

可以从中心极限定理、高斯分布来分析：

1.中心极限定理：

设有n个随机变量，X1,X2,X3,Xn,他们之间相互独立，并且有相同的数学期望和均值。E(X)=u;D(x)=δ2.令Yn为这n个随机变量之和。

Zn为X这几个变量的规范和。

   2.高斯分布

   假的给定一个输入样本x，我们得到预测值和真实值间的存在的误差e，那么他们的关系如下：

  而这里，我们就可以假设e服从标准的高斯分布。

为什么呢？回归模型的最终目标是建立自变量x和y之间的关系，我们希望通过x可以较为准确的表示结果y。而在实际应用场景中，很难甚至不可能把导致y结果的所有变量（特征）都找到，放到回归模型里面。

我们只存放那些认为比较重要的特征。根据中心极限定理，把那些对结果影响比较小的(假设独立分布)之和认为是符合正态分布是合理的。

那么x和y的条件概率：

那么知道一条样本的概率，我们就可以通过极大估计求似然函数，优化的目标函数如下：

通过取对数我们可以发现极大似然估计的目标函数和最小平方误差是一样。

在概率模型中，目标函数的极大和极小与极大似然估计是等价的。

假设随机变量为Y，和普通变量x存在相关关系，由于Y是随机变量，对于x的各个确定值，Y有它的分布（高斯）。

 假设为:

使用极大似然估计可求解。

我们知道对于下面公式：

y为随机变量，在c=E(y)时达到最小，这表明以E(y)作为y的近似是最好的。

以上笔记仅供自己学习所用，原文请看上面链接