最大似然估计是一种参数估计的方法。 max P(D|W)
最大似然估计假设采样是独立同分布的,并且假设一个分布,参数未知。我们需要在已知采样,分布模型的情况下估计分布的参数。
最大似然估计一般有以下步骤:
1. 写出似然函数(p(x1)*p(x2)*...*p(xn))
2. 对似然函数取对数
3. 求导数
4. 计算使导数为0(使似然函数最大的)的参数
MLE缺点是数据少的时候overfitting
最大后验估计是已知要估计参数的分布的情况下对参数做估计。最大似然估计相当于参数满足平均分布的最大后验估计。
max P(W|D) = max P(D|W)*P(W) / P(D) = maxP(D|W) * P(W)
最大似然估计是频率学派的观点,最大后验估计是贝叶斯学派的观点。两种都是点估计。