最大似然估计与最小二乘估计的区别
标签(空格分隔): 概率论与数理统计
最小二乘估计
对于最小二乘估计来说,最合理的参数估计量应该使得模型能最好地拟合样本数据,也就是估计值与观测值之差的平方和最小。
设Q表示平方误差, Yi 表示估计值, Ŷ i 表示观测值,即 Q=∑ni=1(Yi−Ŷ i)2
最大似然估计
对于最大似然估计来说,最合理的参数估计量应该使得从模型中抽取该n组样本的观测值的概率最大,也就是概率分布函数或者似然函数最大。
显然,最大似然估计需要已知这个概率分布函数,一般假设其满足正态分布函数的特性,在这种情况下,最大似然估计与最小二乘估计是等价的,也就是估计的结果是相同的。
最大似然估计原理:
1. 当给定样本 x1,x2,...,xn 时,定义似然函数为 L(θ)=f(x1,x2,...,x