贝叶斯公式
给定某些样本D,在这些样本中计算某结论 A1 A 1 、 A2 A 2 … An A n 出现的概率,即 P(Ai|D) P ( A i | D )
在给定样本的情况下,哪一组参数出现的概率最大,我们就认为哪组参数最有可能出现
P(D) P ( D ) 是样本发生的概率,样本已经改定所以, P(D) P ( D ) 是常数
我们在认为在没有其他的条件下, P(Ai) P ( A i ) 近似相等,得到 max(P(D|Ai)) m a x ( P ( D | A i ) ) ,即哪一个参数使得样本最大可能的发生,或者说是哪个参数使样本发生的概率最大
极大似然估计
设总体分布为
f(x,θ)
f
(
x
,
θ
)
,
X1
X
1
,
X2
X
2
,
X3
X
3
…
Xn
X
n
为该总体采样得到的样本,因为
X1
X
1
,
X2
X
2
,
X3
X
3
…
Xn
X
n
独立同分布,于是它们的联合密度函数为:
上式为样本发生的概率,或者说哪个参数使取的的样本与真实的样本最相似,即哪个参数使样本发生的概率最大,或者说是在 θ θ 的所有的可能取值中,找到一个能使数据出现的可能性的最大的值。
这里 θ θ 被看做是固定但未知的参数,反过来因为样本已经存在,可以看成 x1,x1...xn x 1 , x 1 . . . x n 是固定的, L(x,θ) L ( x , θ ) 是关于 θ θ 的函数,即似然函数
求参数 θ θ 的值,使得似然函数取极大值,这种方法就是 极大似然估计
极大似然估计具体实践
在实践中由于求导数的需要,往往将似然函数取对数,同时连乘容易造成下溢,通常使用对数似然,若对数似然函数可导,可通过求导的方式,解下列方程组,得到驻点,然后分析该点是极大值点
极大似然估计实例
找出与样本分布最接近的概率分布模型
10次抛硬币的结果是:正正反正正正反反正正
假设
p
p
是每次抛硬币结果为正的概率,则得到这样结果的计算概率是:
最优解为: p=0.7 p = 0.7
抛硬币的过程中,进行了 N N 次独立实验,次朝上, N−n N − n 次朝下,假设朝上的概率为 p p ,使用对数似然作为目标函数:
正太分布的极大似然估计
若给定一组样本
X1
X
1
,
X2
X
2
,
X3
X
3
…
Xn
X
n
,已知它们来自于高斯分布
N(μ,σ)
N
(
μ
,
σ
)
,试估计参数
μ,σ
μ
,
σ
按照MLE的过程分析
高斯分布的概率密度函数:
将 Xi X i 的样本 xi x i 带入,得到:
取对数
将目标函数对参数 μ,σ μ , σ 分别求偏导,很容易得到 μ,σ μ , σ 的式子:
上述结论与矩估计的结果是非常一致的,并且意义非常明显,样本的均值为高斯分布的均值,样本的伪方差为高斯分布的方差,经典意义上的方差,分母是 n−1 n − 1 ,在似然估计中求得方差是 n n <script type="math/tex" id="MathJax-Element-75">n</script>