极大似然估计问题

极大似然估计是什么？

极大似然估计，通俗理解来说，就是利用已知的样本结果信息，反推最具有可能（最大概率）导致这些样本结果出现的模型参数值！

换句话说，极大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。

当模型满足某个分布，它的参数值我通过极大似然估计法求出来的话。比如正态分布中公式如下：

过极大似然估计，得到模型中参数μ和σ的值，那么这个模型的均值和方差也就知道了。

极大似然估计中采样需满足一个重要的假设，就是所有的采样都是独立同分布的。

现实中的很多数据，大多都服从**高斯分布==、即正态分布**==：

最小二乘法是什么？

最小二乘法和均方误差的区别：

基于均方误差最小化来进行模型求解的方法称为“最小二乘法”。——周志华《机器学习》

最小二乘法作为损失函数：没有除以总样本数m；均方误差(MSE)：除以总样本数m。

最小二乘法的局限性：

首先，最小二乘法需要计算 XTX 的逆矩阵，有可能它的逆矩阵不存在，这样就没有办法直接用最小二乘法了，此时梯度下降法仍然可以使用。当然，我们可以通过对样本数据进行整理，去掉冗余特征。让 XTX 的行列式不为0，然后继续使用最小二乘法。

第二，当样本特征 n 非常的大的时候，计算 XTX 的逆矩阵是一个非常耗时的工作（ n×n 的矩阵求逆），甚至不可行。此时以梯度下降为代表的迭代法仍然可以使用。那这个 n 到底多大就不适合最小二乘法呢？如果你没有很多的分布式大数据计算资源，建议超过10000个特征就用迭代法吧。或者通过主成分分析降低特征的维度后再用最小二乘法。

第三，如果拟合函数不是线性的，这时无法使用最小二乘法，需要通过一些技巧转化为线性才能使用，此时梯度下降仍然可以用。

因此：在数据符合高斯分布的状态下，极大似然估计法就等于最小二乘法。