极大似然估计是什么?
极大似然估计,通俗理解来说,就是利用已知的样本结果信息,反推最具有可能(最大概率)导致这些样本结果出现的模型参数值!
换句话说,极大似然估计提供了一种给定观察数据来评估模型参数的方法,即:“模型已定,参数未知”。
当模型满足某个分布,它的参数值我通过极大似然估计法求出来的话。比如正态分布中公式如下:
过极大似然估计,得到模型中参数μ和σ的值,那么这个模型的均值和方差也就知道了。
极大似然估计中采样需满足一个重要的假设,就是所有的采样都是独立同分布的。
现实中的很多数据,大多都服从**高斯分布==、即正态分布**==:
最小二乘法是什么?
最小二乘法和均方误差的区别:
基于均方误差最小化来进行模型求解的方法称为“最小二乘法”。——周志华《机器学习》
最小二乘法作为损失函数:没有除以总样本数m;均方误差(MSE):除以总样本数m。
最小二乘法的局限性:
首先,最小二乘法需要计算 XTX 的逆矩阵,有可能它的逆矩阵不存在,这样就没有办法直接用最小二乘法了,此时梯度下降法仍然可以使用。当然,我们可以通过对样本数据进行整理,去掉冗余特征。让 XTX 的行列式不为0,然后继续使用最小二乘法。
第二,当样本特征 n 非常的大的时候,计算 XTX 的逆矩阵是一个非常耗时的工作( n×n 的矩阵求逆),甚至不可行。此时以梯度下降为代表的迭代法仍然可以使用。那这个 n 到底多大就不适合最小二乘法呢?如果你没有很多的分布式大数据计算资源,建议超过10000个特征就用迭代法吧。或者通过主成分分析降低特征的维度后再用最小二乘法。
第三,如果拟合函数不是线性的,这时无法使用最小二乘法,需要通过一些技巧转化为线性才能使用,此时梯度下降仍然可以用。