机器学习 (一)：线性回归

1. 最小二乘法与最大似然

在回归问题中，我们最常用的就是最小二乘法，也就是均方误差MSE。

                                                                               

这个形式乍一看很合逻辑，也没有想过为什么会用这种形式。要衡量回归问题的误差，肯定要有模型和目标的差值，再平方一下，求导方便。但其实这个形式可以从最大似然推出来。

推导

现在我们假设目标变量t，假设函数y，我们将目标变量看做是假设函数加上高斯噪声(根据中心极限定理，大量数据下噪声服从高斯分布)，其中高斯分布的均值是0，方差是：

我们发现在假设高斯噪声下最大似然和最小二乘法形式相同