最大似然与正太分布

这两个词语都是概率论中见的词语，乍一看没有什么联系。最近看了斯坦福的机器学习课程，其中有对于回归问题的均方误差函数的由来进行的仔细论述，我认为十分有意思，就写了博客来记录一下。

最大似然：简单来说，就是不断调整模型的参数，使已知发生的事件的概率是最大的。

正态分布密度函数: $\frac{1}{\sqrt{2\pi\sigma}}exp{-（\frac{(x-\mu)^2}{2\sigma^2}）}$ 其中 $\sigma$ 代表标准差，$\mu$代表平均值。

对于一个回归问题，我们f(x)尽量的去拟合y。如果我们假设所有的误差都是服从正太分布的则有 f(x)=y+ $\epsilon$ 由于误差服从均值为0，方差为1的正太分布，因此所有样本的联合概率密度为
$\prod_{i=1}^n\frac{1}{\sqrt{2\pi}}exp-（{\frac{(f(x_i)-y_i)^2}{2}}）$
我们要最大化上述式子，等价于最小化$\sum_{i=1}^n({f(x_i)-y_i})^2$。 而它正是均方误差函数，也就是说我们在回归问题中用极大似然思想推导出了均方误差函数。

（注：连续型随机变量联合分布用密度函数来估计，离散型随机变量联合分布用概率来估计）