最大似然函数和最小二乘法解析

最大似然函数和最小二乘法的区别和理解：

对于最小二乘法，当从模型中选择n个样本观察值时，参数的合理性要求就是让模型更好地拟合这个样本数据，就是让观察值和估计值之间的误差更小。而对于最大似然函数，当从模型中选择n个样本观察值时，合理的参数估计就是让从模型抽取这n个样本观察值的概率最大化。这是从不同的原理出发的两种参数估计法。

在最大似然法中，通过选择参数，让已知数据在某种意义上最有可能出现，这个某种意义上指的就是最大似然估计，而似然函数指的就是数据的概率分布函数。和最小二乘法不同的是，最大似然法需要提前知道这个数据的分布函数，这在实践中是很难的。一般我们要求线性回归的误差满足均值为0的正态分布，在这种情况下，最大似然函数和最小二乘法相同。

当假设数据满足正态分布函数的特征性，在这种情况下，最大似然函数和最小二乘法估计相同，这也就是为什么最小二乘法对于误差的估计用平方！

最小二乘法：

基本思想：

简单地说，最小二乘的思想就是要使得观测点和估计点的距离的平方和达到最小.这里的“二乘”指的是用平方来度量观测点与估计点的远近（在古汉语中“平方”称为“二乘”），“最小”指的是参数的估计值要保证各个观测点与估计点的距离的平方和达到最小。

m是样本数量，θ表示要求的参数，yi是观测值, h是估计值
最小二乘的作用

用于得到回归方程的参数的一个最优估值。在统计学上，该估值可以很好的拟合训练样本。并且对于新的输入样本，当有了参数估值后，带入公式可以得到输入样本的输出。

如何求解最小二乘

多元函数求极值的方法，对θ求偏导，让偏导等于0，求出θ值。当θ为向量时，