文本分类算法--朴素贝叶斯

贝叶斯定理

贝叶斯定理用公式表示：

$$p(Y|X) = \frac{P(X|Y)P(Y)}{p(X)}$$

其中，$p(Y)$是先验概率，$P(Y|X)$是后验概率，也就是要求的概率。

朴素贝叶斯算法原理

朴素贝叶斯分类算法是一种生成模型。训练的过程是学习联合概率分布$p(x, y)$，预测的时候使用贝叶斯法则计算条件概率$p(y|x)$，选择条件概率最大的类别为最可能的预测类别。

基本方法：

假设训练数据集表示为：

$$T = \{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}$$

朴素贝叶斯通过训练数据集学习联合概率分布$P(X,Y)$，即：
* 先验概率分布：$P(Y=c_k), k=1,2,...,K$
* 条件概率分布：

P(X=x|Y=ck)=P(x(1