朴素贝叶斯模型

naive bayes

生成模型

概率论

条件概率

$$P(A|B)=\frac{P(AB)}{P(B)}$$
全概率:
$$\begin{array}{rllll} P(A)&=&\sum_i^N P(A|B_i)\ P(B_i)\\ &=&\sum_i^N P(AB_i),&\text{把所有包含A的情况都加起来} \end{array}$$
贝叶斯公式:
$$\begin{array}{llll} P(A|B) &=&\frac{P(AB)\to P(B|A_k)\ P(A_k)}{P(B)\to \sum_iP(B|A_i)\ P(A_i)}\\ \downarrow\\ P(A_k|B)&=&\frac{P(B|A_k)\ P(A_k)}{\sum\limits_{i=1}^KP(B|A_i)\ P(A_i)} \end{array}$$

模型

对于给定的条件B = $[x_1,x_2,\cdots,x_n]$ 分母P(B)为定值,所以只需要比较分子部分即可得出属于哪个的概率大.

$$y=arg \max \limits_{A_i} P(A_i)\ \prod \limits_{k=0}^nP(x_k|A_i),\quad A_i\text{为类别}[y_1,y_2,\cdots,y_m]$$

模型学习得到 类别的概率分布,在类别条件下的特征概率分布.

朴素贝叶斯模型 为生成模型

贝叶斯估计

防止概率=0,计数的时候每个类别+λ (λ>0,λ=1时为拉普拉斯平滑)