朴素贝叶斯方法推导

朴素贝叶斯

条件

$X$ 为n维向量空间，$Y$为类别标签，假设有k个类别，每一维$X$有不同的取值

公式推导

假设在可以观察到的空间(训练集)中，可以观察$P(X|Y)$即每个$Y$对应的类别取值中$X$的概率分布。比如在$Y=c_i$类中，$X=x_i$的概率是0.04。
有：

$P(X=x_i|Y=y_i)P(Y=y_i)=P(X=x_i,Y=y_i)$
$P(Y=y_i|X=x_i)P(X=x_i)=P(X=x_i,Y=y_i)$

得:

$P(X=x_i|Y=y_i)P(Y=y_i)=P(Y=y_i|X=x_i)P(X=x_i)$
==>$P(Y=y_i|X=x_i)=\dfrac{P(X=x_i|Y=y_i)P(Y=y_i)}{P(X=x_i)}$

又：

$P(X=x_i)=\sum_{j=1}^kP(X=x_i|Y=y_j)P(Y=y_j)$

联立得：

$P(Y=y_i|X=x_i)=\dfrac{P(X=x_i|Y=y_i)P(Y=y_i)}{\sum_{j=1}^kP(X=x_i|Y=y_j)P(Y=y_j)}$

朴素贝叶斯的基本假设：
条件概率

$P(X=x_i|Y=y_i)=P(X(1)=x_i(1),X(2)=x_i(2),...,X(n)=x_i(n)|Y=y_i)$

要估计这样的联合概率复杂度很高，因为训练集中不一定能观测导所有的$X$的可能情况。因此提出基本假设，所有的训练集$X$之间的各个参数条件独立(此处可以考虑ICA处理)，有：
斯的基本假设：
条件概率

$P(X=x_i|Y=y_i)=P(X(1)=x_i(1),X(2)=x_i(2),...,X(n)=x_i(n)|Y=y_i)$
$=\prod_{m=1}^{n}{P(X(m)=x_i(m)|Y=y_i)}$

则公式为：

$P(Y=y_i|X=x_i)=\dfrac{P(Y=y_i)\prod_{m=1}^{n}{P(X(m)=x_i(m)|Y=y_i)}}{\sum_{j=1}^kP(Y=y_j)\prod_{m=1}^{n}{P(X(m)=x_i(m)|Y=y_j)}}$

$=\dfrac{P(Y=y_i)\prod_{m=1}^{n}{P(X(m)=x_i(m)|Y=y_i)}}{P(X=x_i)}$

判断时遍历所有可能的$y_i$，取其中概率最大的值，而对于所有的$y_i$，分母不管怎么算都相等，最后的判别公式为

$Y(X)=argmax_Y\{P(Y=y_i)\prod_{m=1}^{n}{P(X(m)=x_i(m)|Y=y_i)}\}$

简单来说，就是假设现在是第 $i$ 类，同时个各个$x$值出现固定,概率最大的取值。