极大似然估计笔记

一、原理

        我们拿到样本数据需要进行有参估计时，需要假设样本的服从某一分布，因此通过给定某种样本的分布，利用样本来拟合分布参数的过程就是极大似然法。给定一个概率分布 D，假定概率密度函数为 f ，以及一个分布参数 θ，我们可以从这个分布中抽出一个具有 n 个值的采样 X1,X2,···,Xn，通过利用 fD，我们就能计算出其概率：P (X1,X2,···,Xn) = fD (X1,···,Xn | θ) 一旦我们获得 X1,X2,···,Xn，我们就能从中找到一个关于 θ 的估计。最大似然估计会寻找关于 θ 的最可能的值。因此我们定义 θ 可能性: L(θ) = fD (X1,···,Xn | θ) 即找出让 L 最大的 θ，而这个使可能性最大的值  即被称为 θ 的最大似然估计。

二、求解步骤

加对数后用 l 表示

对于极大 θ 的求解