最小二乘法,最大似然估计什么情况下统一

机器学习中,线性回归算法用到最小二乘法,逻辑回归算法用到最大似然估计,在推导梯度的过程中,发现结果一样,这是为何呢?

一.最小二乘法

对于最小二乘法，当从模型总体随机抽取n组样本观测值后，最合理的参数应该使得模型能最好地拟合样本数据，也就是估计值和观测值之差的平方和最小。

1.基本思想

θ表示要求的参数，h(x)为观测值，y为理论值。

2.作用

用于得到回归方程的参数的一个最优估值。在统计学上，该估值可以很好的拟合训练样本。并且对于新的输入样本，当有了参数估值后，带入公式可以得到输入样本的输出。

3.如何求解最小二乘法

多元函数求极值的方法，对θ求偏导，让偏导等于0，求出θ值。当θ为向量时，需要对各个θi求偏导计算。

二.最大似然估计

对于最大似然法，当从模型总体随机抽取n组样本观测值后，最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最大。

1.概念

最大似然估计就是通过求解最大的上面的式子得到可能性最大的θ，其中 L 函数称为参数θ的似然函数，是一个