笔记|统计学习方法：朴素贝叶斯

• 联合概率

朴素贝叶斯是生成模型，由训练数据学习联合分布概率$P(X,Y)$,求得后验概率为:$P(Y|X)$。联合概率分布为：
$$P(X,Y)=P(Y)P(X|Y)$$
概率估计方法是极大似然法，或者贝叶斯估计。

• 基本假设：条件独立性

$$P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},\cdot \cdot \cdot ,X^{(n)}=x^{(n)}|Y=c_k)=\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)$$

• 确定x的类别

• 1. 计算先验概率以及条件概率

$$P(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)}{N},k=1,2,\cdot \cdot \cdot ，K$$

$$P(X^{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)}{{\sum }_{i=1}^{N}I(y_i=c_K)}$$

$$j,l,k=1,2,3,\cdot \cdot \cdot ,K$$

• 2. 对于给定的实例$x=(x^{(1)},x^{(2)},\cdot \cdot \cdot ,x^{(n)}{)}^T$,计算

$$P(Y=c_k)\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k),k=1,2,3,\cdot \cdot \cdot ,K$$

• 3. 确定实例的类

$$y=argma{x}_{c_k}P(Y=c_k)\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)$$

• 确定x的类的例子：

• 利用贝叶斯定理与联合概率进行分类预测

贝叶斯定理：
$$P(Y|X)=\frac{P(X,Y)}{P(X)}$$

$$=\frac{P(Y)P(X|Y)}{{\sum }_{Y}P(Y)P(X|Y)}$$

将输入x分到后验概率最大的类y

$$y=argma{x}_{c_k}P(Y=c_k)\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)$$

后验概率最大等价于0-1损失函数时的期望风险最小化

• 贝叶斯估计

条件概率：

$$P(X^{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)+\lambda }{{\sum }_{i=1}^{N}I(y_i=c_K)+S_j\lambda }$$

$X^{(j)}$的取值有$S_j$个

• $\lambda \ge 0$ 称作极大似然估计
• $\lambda =1$ 称作拉普拉斯平滑

先验概率：

$$P_{\lambda }(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)+\lambda }{N+K\lambda }$$

• 贝叶斯估计例子