4.1 用极大似然估计法推导朴素贝叶斯法中的先验概率估计公式和条件概率估计公式
先验依照之前的极大似然步骤:
(1) 写出似然函数;
(2) 对似然函数取对数,用ln求导简单,并整理;
(3) 求导数,让其等于0;
(4) 解似然方程 。
条件概率p(x|y):
(1) 写出似然函数,有书本得;
和上面同样的步骤解码!!!
4.2 用贝叶斯估计法推导朴素贝叶斯法中的先验概率估计公式和条件概率估计公式
首先我们得了解到θ服从当先验分布为Dirichlet分布(多元beta分布),即,在对系统类别分布一无所知的情况下,可以假设类别是均匀分布的,则式子可写成,,这时候我就可以知道所有事件发生的概率为:
这个概率先可以说是每个在已知事件内发生次数+未发生事件(Dirichlet分布)
这时候已经是对这个式子进行ln求偏导:
,
在这需要理解下,这是并不能求导,只能直接找最大值,等于最大值;
即
整理得,这时候将所有所有ck求和,:
,整理得:
得证
有了这个式子,理解公式就不难了,
Sj是在Y=ck条件下出现x=ajl的总数