机器学习——朴素贝叶斯法提要

机器学习——朴素贝叶斯法提要

朴素贝叶斯方法相较于其他机器学习方法，原理简单，实现方便，效率较高，学术领域内常用作baseline同其他方法进行比较。

理论依据

贝叶斯定理

$$P(B_i|A)=\frac{P(B_i)P(A|B_i)}{\sum_{j=1}^nP(B_j)P(A|B_j)}$$

理论假设：不同特征之间条件独立分布。

学习内容

先验概率分布

$$P(Y=C_k)$$
条件概率分布
$$P=(X=x|Y=c_k)$$

在此基础上进行预测任务（后验概率）：

$$y = arg\max_{C_k}P(Y=C_k)\prod_{j}P(X^j=x^j|Y=C_k)$$
这样一来，实例x将被分到后验概率最大的类中，这将使得期望风险最小。

至于先验概率和条件概率怎么得出，大致有两种方法：

1. 极大似然估计

$$P(Y=c_k)=\sum_{i=1}^{N}I(y_i=c_k)/N, k=1,2...K$$
$$P(X^j=a_{jl}|Y=c_k) = \frac{\sum_{i=1}^{N}I(x_i^j=a_{jl},y_i=c_k)}{\sum_{i=1}^{N}I(y_i=c_k)}$$
ajl是第j个特征可能取得第l个值。

2. 贝叶斯估计

极大似然估计可能会出现所要估计的概率值为0的情况，这会影响到后验概率的计算结果。为了解决这个问题，提出了新的条件概率和先验概率估计方法：

$$P_\lambda(X^j=a_{jl}|Y=c_k)=\frac{\sum_{i=1}^NI(x_i^j=a_{jl},y_i=c_k)+\lambda}{\sum_{i=1}^NI(y_i=c_k)+S\lambda}$$
$$P_\lambda(Y=c_k)=\frac{\sum_{i=1}^NI(y_i=c_k)+\lambda}{N+K\lambda}$$

算法提炼

(1)计算先验概率和条件概率x；
(2)对于给定的实例，计算后验最大值对应的y的类别。