前提
估计类条件概率的一种常用策略就是先假定其具有某种确定的概率分布形式,在基于训练样本进行估计。
处理方式
关于类别
c
的类条件概率为
任务
利用训练集合
D
估计参数
两种学派
频率主义学派
这个学派认为参数虽然是未知的,但是参数本身是一个客观存在的固定值。因此可以通过优化似然函数等准则来确定参数值。
贝叶斯学派
这个学派认为参数是未被观察到的随机变量,其本身也可以有分布,因此可以假定参数服从一个先验分布,然后基于观测到的数据来计算参数的后验分布。
极大似然估计
极大似然估计(Maximum Likelihood Estimation),源自频率主义学派。
方法
令
Dc
表示训练集合
D
中第
P(Dc∣θc)=Πx∈DcP(x∣θc)
对数似然
连乘容易导致下溢
故使用对数似然
LL(θc)=logP(Dc∣θc)=∑x∈DclogP(x∣θc)
此时参数 θc 的极大似然估计 θ^c
θ^c=argmaxθcLL(θc)