拉普拉斯平滑处理

参考博文：理解朴素贝叶斯分类的拉普拉斯平滑.
本文的主要目的是为了理清拉普拉斯平滑公式中的系数作用。

Exp：

帅？	性格好？	上进？	嫁与否？
帅	不好	不上进	不嫁
帅	好	上进	嫁
不帅	不好	不上进	不嫁
不帅	好	上进	嫁
帅	不好	上进	不嫁
帅	好	不上进	嫁
不帅	不好	上进	嫁
不帅	好	不上进	不嫁

三个特征集合分别为：长相(帅、不帅)、性格(爆好、好、不好)、上进与否(上进、不上进)。
类别集合：嫁与否(嫁、不嫁)。

---

现在假设去求一个男生{帅、爆好、上进}的情况下，嫁与不嫁的概率谁大。
也就是要比较$P(嫁|长相帅,性格爆好,上进)与P(不嫁|长相帅,性格爆好,上进)$的概率大小。

---

根据朴素贝叶斯公式可以得出：

…
$P(嫁|长相帅,性格爆好,上进)=\frac{P(长相帅,性格爆好,上进|嫁)P(嫁)}{P(长相帅,性格爆好,上进)}$
…
$P(不嫁|长相帅,性格爆好,上进)=\frac{P(长相帅,性格爆好,上进|不嫁)P(不嫁)}{P(长相帅,性格爆好,上进)}$

---

根据表格我们可以发现没有一个数据有性格爆好这个特点，那么$P(性格爆好|嫁)=0$，则根据上述公式：

…
$P(嫁|长相帅,性格爆好,上进)=\frac{P(长相帅,性格爆好,上进|嫁)P(嫁)}{P(长相帅,性格爆好,上进)}=\frac{P(长相帅|嫁)P(性格爆好|嫁)P(上进|嫁)P(嫁)}{P(长相帅)P(性格爆好)P(上进)}$

由于$P(性格爆好|嫁)=0$，因此使得上述结果也为0，这显示是不合理的。因此这里引入拉普拉斯平滑处理。

---

引入公式如下：
$$\begin{array}{r}{P}_{\lambda }(X^{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)+\lambda }{{\sum }_{i=1}^{N}I(y_i=c_k)+S_j\lambda }\end{array};$$
$$\begin{array}{r}{P}_{\lambda }(Y=c_k)=\frac{{\sum }_{i=1}^N(y_i=c_k)+\lambda }{N+K\lambda }\end{array};$$

其中$a_{jl}$表示第$j$个特征的第$l$个选择，$S_j$代表第$j$个特征的个数，$K$代表类别个数。
$\lambda$ 为1，加入拉普拉斯平滑后即避免了出现概率为0的情况，又保证了单概率范围0-1，且最终和为1。

---

首先：
$$\begin{array}{r}\sum _{l=1}^{jM}(P_{\lambda }(X^{(j)}=a_{jl}|Y=c_k))=1\end{array}，$$
其中 $jM$ 表示在第 $j$ 个特征中存在 $jM$ 种情况，比如性格特征中包含了不好，好，爆好三种情况，那么引入拉普拉斯之后也应该满足条件概率总和为1，如：
$$\begin{array}{r}P(性格爆好|嫁)+P(性格好|嫁)+P(性格不好|嫁)=1\end{array}，$$
因此我们着重讨论以下公式分母中的 ${\mathbf{S}}_{\mathbf{j}}$ ：
$$\begin{array}{r}{P}_{\lambda }(X^{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)+\lambda }{{\sum }_{i=1}^{N}I(y_i=c_k)+S_j\lambda }\end{array};$$
现在有两种说法，一种是 $S_j$ 表示类别数量，还有一种是表示该特征下的情况数量。
这里根据上表的例子来证明该公式中 $S_j$ 的作用，分别计算 $P(性格爆好|嫁),P(性格好|嫁),P(性格不好|嫁)$ ，
其中：
$Num(嫁)=4,Num(性格好|嫁)=3,Num(性格不好|嫁)=1,Num(性格爆好|嫁)=0$

若 $S_j$ 表示类别数量：
则 $S_j=2$，此时只有嫁与不嫁两种类别。

$P(性格爆好|嫁)=\frac{Num(性格爆好|嫁)+1}{Num(嫁)+2}=\frac{1}{6}$

$P(性格好|嫁)=\frac{Num(性格好|嫁)+1}{Num(嫁)+2}=\frac{4}{6}$

$P(性格不好|嫁)=\frac{Num(性格不好|嫁)+1}{Num(嫁)+2}=\frac{2}{6}$

此时 $P(性格爆好|嫁)+P(性格好|嫁)+P(性格不好|嫁)=\frac{7}{6}\ne 1$

若 $S_j$ 表示该特征下的情况数量：
则 $S_j=3$，此时有不好，好，爆好三种类别。

$P(性格爆好|嫁)=\frac{Num(性格爆好|嫁)+1}{Num(嫁)+3}=\frac{1}{7}$

$P(性格好|嫁)=\frac{Num(性格好|嫁)+1}{Num(嫁)+3}=\frac{4}{7}$

$P(性格不好|嫁)=\frac{Num(性格不好|嫁)+1}{Num(嫁)+3}=\frac{2}{7}$

此时 $P(性格爆好|嫁)+P(性格好|嫁)+P(性格不好|嫁)=\frac{7}{7}=1$

因此我认为后者的说法更加准确，前者一旦特征下的情况数量超过了类别数量，那么它的概率总和就不等于1。

---

下文是按照上述公式依次计算的条件概率和先验概率的结果：

帅？	性格好？	上进？	嫁与否？
帅	不好	不上进	不嫁
帅	好	上进	嫁
不帅	不好	不上进	不嫁
不帅	好	上进	嫁
帅	不好	上进	不嫁
帅	好	不上进	嫁
不帅	不好	上进	嫁
不帅	好	不上进	不嫁

$P(性格爆好|嫁)$

上图没有任何一行数据满足，但是通过拉普拉斯平滑处理后可得：

性格特征的个数为爆好，好，不好三种情况，那么$S_j$为3，则最终概率$P(性格爆好|嫁)=\frac{1}{7}$ （嫁的个数为4+特征个数为3）

---

$P(长相帅|嫁)$

上图2, 6行数据满足。

长相特征的个数为帅，不帅，两种情况，那么$S_j$为2，则最终概率$P(长相帅|嫁)=\frac{3}{6}$ （嫁的个数为4+特征个数为2）

---

$P(上进|嫁)$

上图第2, 4, 7行数据满足。

是否上进特征的个数为上进，不上进两种情况，那么$S_j$为2，则最终概率$P(上进|嫁)=\frac{4}{6}$ （嫁的个数为4+特征个数为2）

---

$P(嫁)$

上图第3, 4, 6, 7行数据满足。

是否嫁类别的个数为两种情况，那么$K$为2，则最终概率$P(嫁)=\frac{5}{10}$ （总个数为8+特征个数为2）

---

因此 $P(嫁|长相帅,性格爆好,上进)=\frac{3}{6}\times \frac{1}{7}\times \frac{4}{6}\times \frac{5}{10}$

---

接下来继续计算$P(不嫁|长相帅,性格爆好,上进)$的概率，然后与上面的数值进行比较即可，算法与上面完全一模一样。这里就直接省略具体步骤。给出结果：

$P(长相帅|不嫁)=\frac{3}{6}$
$P(性格爆好|不嫁)=\frac{1}{7}$
$P(上进|不嫁)=\frac{2}{6}$
$P(不嫁)=\frac{5}{10}$
$P(不嫁|长相帅,性格爆好,上进)=\frac{3}{6}\times \frac{1}{7}\times \frac{2}{6}\times \frac{5}{10}$

---

根据比较可以得出： $P(嫁|长相帅,性格爆好,上进)>P(不嫁|长相帅,性格爆好,上进)$