朴素贝叶斯流程梳理

以下内容主要来自CS229课程的讲义，放上链接http://cs229.stanford.edu/syllabus.html

由二分类问题到生成模型的训练内容

我们基于二分类问题进行讨论，\(y\)的取值为\({0, 1}\)。

先提一下判别模型和生成模型的概念。在使用一个模型对一条新数据进行预测的过程实际是求解\(p(y=0|x)\)和\(p(y=1|x)\)，然后比大小的过程。想要求得\(p(y|x)\)在训练模型时有两种方式：

        训练\(p(y|x)\)模型（判别模型）

        训练\(p(x|y)\)模型（生成模型）

判别模型：逻辑回归模型就是判别模型，看一下它模型的表达式：\(h_\theta (x) = \frac{1}{1 + e^{-\theta^Tx}}\)，这个表达式求出的概率就是\(y=1\)的概率，即\(p(y=1|x) = h_\theta(x)\)，\(p(y=0|x) = 1 - h_\theta(x)\)。可见判别模型是直接对\(p(y|x)\)进行训练。

生成模型：朴素贝叶斯就是生成模型，下面来看详细步骤。

条件概率公式：\(p(A|B) = \frac{p(A,B)}{p(B)}\)，\(p(B|A) = \frac{p(A,B)}{p(A)}\)

可得出贝叶斯公式：\(p(A|B) = \frac{p(B|A)p(A)}{\sum_{A_i}p(A_i)p(B|A_i)}\)

把A和