机器学习笔记——贝叶斯分类器(II)极大似然估计

前提

估计类条件概率的一种常用策略就是先假定其具有某种确定的概率分布形式，在基于训练样本进行估计。

处理方式

关于类别$c$的类条件概率为$P(\mathbf{x}\mid c)$,假设$P(\mathbf{x}\mid c)$具有确定的形式，而且被参数向量$\boldsymbol{\theta_c}$唯一确定。

任务

利用训练集合$D$估计参数$\boldsymbol{\theta_c}$.并且记$$

两种学派

频率主义学派

这个学派认为参数虽然是未知的，但是参数本身是一个客观存在的固定值。因此可以通过优化似然函数等准则来确定参数值。

贝叶斯学派

这个学派认为参数是未被观察到的随机变量，其本身也可以有分布，因此可以假定参数服从一个先验分布，然后基于观测到的数据来计算参数的后验分布。

极大似然估计

极大似然估计(Maximum Likelihood Estimation)，源自频率主义学派。

方法

令$D_c$表示训练集合$D$中第$c$类样本组成的集合，假设这些样本是独立同分布的。则参数$\boldsymbol{\theta_c}$对于数据$D_c$的似然是

$$P(D_c\mid \boldsymbol{\theta_c})=\Pi_{\mathbf{x}\in D_c}P(\mathbf{x}\mid \boldsymbol{\theta_c})$$
对数似然
连乘容易导致下溢
故使用对数似然
$$LL(\boldsymbol{\theta_c})=\log{P(D_c\mid \boldsymbol{\theta_c})}=\sum_{\mathbf{x}\in D_c}\log P(\mathbf{x}\mid \boldsymbol{\theta_c})$$
此时参数 $\boldsymbol{\theta}_c$的极大似然估计 $\hat{\boldsymbol{\theta}}_c$
$$\hat{\boldsymbol{\theta}}_c=\mathop{\arg\max}_{\boldsymbol{\theta}_c}LL(\boldsymbol{\theta}_c)$$