『数据挖掘、机器学习』 常用算法思路、原理、公式、优缺点

1、朴素贝叶斯分类算法

思路：通过计算在已知样本特征 X 下，该样本被分类为 $C_i$ 类的概率，并取取得最大的概率的类为该样本所属分类

假设：假设每个特征相互独立

公式：

已知 $X = (x_1, x_2, ... , x_n)$, $y = (C_1, C_2, ... , C_m)$ ， $X$ 是 $n$维向量，$y$ 是 $m$ 维向量

$$P(Ci|X) = \frac{P(C_i)\prod_{k=1}^{n}P(x_k|C_i) }{\sum_{i=1}^{m}P(C_i)P(X|C_i)} \tag{1}$$

(1) 式中的分母由于对于每个 (1) 式来说都是相同，可以在实际计算中省略不使用

另外 $P(X|C_i)$ ，由于 $X = (x_1, x_2, ... , x_n)$ ，故 $P(X|C_i)$ 可写成 $P(x_1, x_2, ... ,x_n|C_i)$ ，

而 $P(x_1, x_2, ... ,x_n|C_i)$ 又可以写成 $\prod_{k=1}^{n}P(x_k|C_i)$ 故 (1) 式可改写为：

$$P(Ci|X) = \frac{P(C_i)\prod_{k=1}^{n}P(x_k|C_i) }{\sum_{i=1}^{m}P(C_i)\prod_{k=1}^{n}P(x_k|C_i)} \tag{2}$$

由 (2) 式的分母可以明显看出对于每一个样本 X 来说，分母都是相同的。

优点：方法简单、准确率高、计算速度快

缺点：假设每个特征相互独立的假设过强，不太符合实际；需要知道先验概率；样本数据量要比较多，这样得到的后验概率才比较准确