朴素贝叶斯的参数估计的推导过程

最新推荐文章于 2024-07-23 17:02:16 发布

JadenYuki

最新推荐文章于 2024-07-23 17:02:16 发布

阅读量3k

点赞数 4

文章标签：机器学习统计

本文链接：https://blog.csdn.net/qq_36095192/article/details/82929744

版权

设输入空间 $\chi$ $\subseteq$ $R^{n}$ 为n维向量的集合，输出空间为类标记集合 $\gamma$ ={ $c_{1}$ , $c_{2}$ ,… $c_{k}$ ,}，输入为特征向量x $\in$ $\chi$ ,输出为类标记y $\in$ $\gamma$ 。X是定义在输入空间 $\chi$ 上的随机变量，X是定义在输出空间 $\gamma$ 上的随机变量。P(X,Y)是X和Y的联合概率分布。训练数据集T={( $x_{1}$ , $y_{1}$ ),( $x_{2}$ , $y_{2}$ ),…,( $x_{N}$ , $y_{N}$ )}由P(X,Y)独立同分布产生。
1、极大似然估计
样本的联合概率分布为
$在这里插入图片描述$
$在这里插入图片描述$
$在这里插入图片描述$
因此样本的对数似然函数为
$在这里插入图片描述$
首先看 $在这里插入图片描述$ ，此时对数似然函数的后一项相当于常数不考虑。由于 $在这里插入图片描述$ ,所以由拉格朗日数乘法， $在这里插入图片描述$ 对 $在这里插入图片描述$ 求偏导并令其等于零可得 $在这里插入图片描述$
利用条件两边求和可得 $在这里插入图片描述$ ，因此可得 $在这里插入图片描述$ 的极大似然估计为 $在这里插入图片描述$

同理，利用条件写出另一个拉格朗日函数 $在这里插入图片描述$ 类似的方法可得
$在这里插入图片描述$

2、贝叶斯估计
对于 $在这里插入图片描述$ 的估计：设 $t_{i}$ 为标签 $c_{i}$ 出现的次数， $q_{i}$ 为标签 $c_{i}$ 出现的概率，i=1,2,…,K。
显然样本服从多项分布：
$在这里插入图片描述$
由此可设q的先验分布为狄利克雷分布：
$在这里插入图片描述$
由此可得q的后验分布：
$在这里插入图片描述$
这也是个狄利克雷分布，用后验期望作为贝叶斯估计的值，则
$在这里插入图片描述$
类似，设 $u_{l}$ 为当Y= $c_{k}$ 时X的第j个元素为 $a_{jl}$ 的次数， $r_{l}$ 为其发生的概率，l=1,2,… $S_{j}$
同样样本服从多项分布：
$在这里插入图片描述$
r的先验分布为：
$在这里插入图片描述$
r的后验分布为：
$在这里插入图片描述$
所以：
$在这里插入图片描述$

参考文献：https://stats.stackexchange.com/questions/83203/laplace-smoothing-and-dirichlet-prior

JadenYuki

关注

4
点赞
踩
19

收藏

觉得还不错? 一键收藏
1
评论
朴素贝叶斯的参数估计的推导过程

设输入空间χ\chiχ ⊆\subseteq⊆ RnR^{n}Rn为n维向量的集合，输出空间为类标记集合γ\gammaγ={c1c_{1}c1,c2c_{2}c2,…ckc_{k}ck,}，输入为特征向量x∈\in∈χ\chiχ ,输出为类标记y∈\in∈γ\gammaγ。X是定义在输入空间χ\chiχ 上的随机变量，X是定义在输出空间γ\gammaγ上的随机变量。P(X,Y)是X和Y的...
复制链接

扫一扫