ML-朴素贝叶斯

最新推荐文章于 2022-12-27 12:59:56 发布

透明的胡萝卜

最新推荐文章于 2022-12-27 12:59:56 发布

阅读量238

点赞数

分类专栏： ML

本文链接：https://blog.csdn.net/A18730290353/article/details/88697504

版权

ML 专栏收录该内容

7 篇文章 0 订阅

订阅专栏

参考《西瓜书》P151

以前对贝叶斯参数的计算过程不是很清楚，在西瓜书里讲的很详细，原来可以把X属性分为离散型与连续型，离散型的话可以直接按照频率计算，连续型的话，要用极大似然估计，首先假设概率密度函数满足一个分布，比如正态分布，然后利用已知的数据集(X,Y)，来预测参数。预测过程可以参考逻辑回归推到损失函数。

后验概率

$\fn_cm \begin{align*} P(c|X) &= \frac{P(c)P(X|c)}{P(X)} \\ & = \frac{P(c)}{P(X)}\prod_{i=1}^{n}P(x_{i}|c) \end{align*}$

由于对所有类别来说P(X)相同，因此贝叶斯判定准则有

$h_{nb} = arg max P(c)\prod_{i=1}^{n}P(x_{i}|c)$

显然，朴素贝叶斯分类器的训练过程就是基于训练集D来估计类先验分布概率P(c)，并为每个属性估计条件概率 $P(x_{i}|c)$

令Dc 表示训练集D中第c类样本组合的集合，若有充足的独立同分布样本，则可容易地估计出类先验概率

$P(c) = \frac{|D_{c}|}{|D|}$

对离散属性而言，令表示Dc中在第i个属性上取值为xi 的样本组成的集合，则条件概率P(xi | c)可估计为

$P(x_{i}|c) = \frac{|D_{c,x_{i}}|}{|D_{c}|}$

对连续属性可考虑概率密度函数，假定其中

$P(x_{i}|c) = \frac{1}{\sqrt{2\pi }\sigma _{c,i}} exp (-\frac{(x_{i}-\mu _{c,i})^{2}}{2\sigma _{c,i}^{2}})$

$P(c) = \frac{|D_{c}|+1}{|D|+N}$

$P(x_{i}|c) = \frac{|D_{c,x_{i}}|+1}{|D_{c}|+N}$

全概率公式、贝叶斯公式推导过程

1）条件概率公式

设A,B是两个事件，且P(B)>0,则在事件B发生的条件下，事件A发生的条件概率（conditional probability)为：

P(A|B)=P(AB)/P(B)

（2）乘法公式

1.由条件概率公式得：

P(AB)=P(A|B)P(B)=P(B|A)P(A)

上式即为乘法公式；

2.乘法公式的推广：对于任何正整数n≥2，当P(A1A2...An-1) > 0 时，有：

P(A1A2...An-1An)=P(A1)P(A2|A1)P(A3|A1A2)...P(An|A1A2...An-1)

3）全概率公式

1. 如果事件组B1，B2，.... 满足

1.B1，B2....两两互斥，即 Bi ∩ Bj = ∅ ，i≠j ， i,j=1，2，....，且P(Bi)>0,i=1,2,....;

2.B1∪B2∪....=Ω ，则称事件组 B1,B2,...是样本空间Ω的一个划分

设 B1,B2,...是样本空间Ω的一个划分，A为任一事件，则：

上式即为全概率公式（formula of total probability)

2.全概率公式的意义在于，当直接计算P(A)较为困难,而P(Bi),P(A|Bi) (i=1,2,...)的计算较为简单时，可以利用全概率公式计算P(A)。思想就是，将事件A分解成几个小事件，通过求小事件的概率，然后相加从而求得事件A的概率，而将事件A进行分割的时候，不是直接对A进行分割，而是先找到样本空间Ω的一个个划分B1,B2,...Bn,这样事件A就被事件AB1,AB2,...ABn分解成了n部分，即A=AB1+AB2+...+ABn, 每一Bi发生都可能导致A发生相应的概率是P(A|Bi)，由加法公式得

P(A)=P(AB1)+P(AB2)+....+P(ABn)

=P(A|B1)P(B1)+P(A|B2)P(B2)+...+P(A|Bn)P(PBn)

3.实例：某车间用甲、乙、丙三台机床进行生产，各台机床次品率分别为5%，4%，2%，它们各自的产品分别占总量的25%，35%，40%，将它们的产品混在一起，求任取一个产品是次品的概率。

解：设..... P(A)=25%*5%+4%*35%+2%*40%=0.0345

（4）贝叶斯公式

1.与全概率公式解决的问题相反，贝叶斯公式是建立在条件概率的基础上寻找事件发生的原因（即大事件A已经发生的条件下，分割中的小事件Bi的概率），设B1,B2,...是样本空间Ω的一个划分，则对任一事件A（P(A)>0),有

上式即为贝叶斯公式（Bayes formula)，Bi 常被视为导致试验结果A发生的”原因“，P(Bi)(i=1,2,...)表示各种原因发生的可能性大小，故称先验概率；P(Bi|A)(i=1,2...)则反映当试验产生了结果A之后，再对各种原因概率的新认识，故称后验概率。

2.实例：发报台分别以概率0.6和0.4发出信号“∪”和“—”。由于通信系统受到干扰，当发出信号“∪”时，收报台分别以概率0.8和0.2受到信号“∪”和“—”；又当发出信号“—”时，收报台分别以概率0.9和0.1收到信号“—”和“∪”。求当收报台收到信号“∪”时，发报台确系发出“∪”的概率。

解：设....， P(B1|A）= (0.6*0.8)/(0.6*0.8+0.4*0.1)=0.923

透明的胡萝卜

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
ML-朴素贝叶斯

参考《西瓜书》P151以前对贝叶斯参数的计算过程不是很清楚，在西瓜书里讲的很详细，原来可以把X属性分为离散型与连续型，离散型的话可以直接按照频率计算，连续型的话，要用极大似然估计，首先假设概率密度函数满足一个分布，比如正态分布，然后利用已知的数据集(X,Y)，来预测参数。预测过程可以参考逻辑回归推到损失函数。后验概率由于对所有类别来说P(X)相同，因此贝叶斯判定准则有...
复制链接

扫一扫