最小二乘法,最大似然估计

一.最小二乘法

最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。

1.基本思想

θ表示要求的参数，h(x)为观测值，y为理论值

2.作用

用于得到回归方程的参数的一个最优估值。在统计学上，该估值可以很好的拟合训练样本。并且对于新的输入样本，当有了参数估值后，带入公式可以得到输入样本的输出。

3.如何求解最小二乘法

多元函数求极值的方法，对θ求偏导，让偏导等于0，求出θ值。当θ为向量时，需要对各个θi求偏导计算。

二.最大似然估计

对于最大似然法，当从模型总体随机抽取n组样本观测值后，最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最大。

1.概念

最大似然估计就是通过求解最大的上面的式子得到可能性最大的θ，其中 L 函数称为参数θ的似然函数，是一个概率分布函数。

2.似然估计的思想是

测量值 X 是服从概率分布的，求概率模型中的参数，使得在假设的分布下获得该组测量出现概率最大。

3.如何求解最大似然估计

多元函数求极值的方法，对θ求偏导，让偏导等于0，求出θ值。当θ为向量时，需要对各个θi求偏导计算。

三.最小二乘法和最大似然估计的联系和区别

在回归算法中,用最小二乘法和最大似然估计求解损失函数时,最大似然法中，通过选择参数，使已知数据在某种意义下最有可能出现，而某种意义通常指似然函数最大，而似然函数又往往指数据的概率分布函数。与最小二乘法不同的是，最大似然法需要已知这个概率分布函数，这在实践中是很困难的。一般假设其满足正态分布函数的特性，在这种情况下，最大似然估计和最小二乘估计相同。

四总结

最小二乘法以估计值与观测值的差的平方和作为损失函数，极大似然法则是以最大化目标值的似然概率函数为目标函数。