(二)朴素贝叶斯分类器

(二)朴素贝叶斯分类器

由(一)朴素贝叶斯与贝叶斯分类器基础知识进行拓展. 设输入空间是$n$维的类别向量$X=x_1,\dots ,x_n$, 输出空间的类别有$K$类: $Y=c_1,\dots ,c_K$. $X$是输入空间$X$上的随机变量, $Y$是输出空间$Y$上的随机变量. 训练数据集$D$为$(x_1,y_1),\dots ,(x_N,y_N)$, $y$为标签.

贝叶斯分类器的输出问题是给定一系列输入$X=x_1,\dots ,x_n$, 算出这个输入属于各个类别的概率, 最大概率处就是这个输入的类别. 即需要算出所有的$P(Y=c_k│X),k=1,\dots ,K$.

由贝叶斯公式$P(A|B)=P(A)\frac{P(B|A)}{P(B)}$ , $P(C|D)=P(C_1|A)\dots P(C_m|A)$, $P(B)={\sum }_{i=1}^{n}P(A_i)P(B|A_i)$, 则有:
$$\begin{array}{rl}P(Y=c_k│X)& =P(Y=c_k)\frac{P(X|Y=c_k)}{P(X)}\\ & =P(Y=c_k)\frac{(P(x_1│Y=c_k)\times \dots \times P(x_n│Y=c_k)}{P(Y=c_k)P(x_1|Y=c_k)+\cdots +P(Y=c_k)P(x_n|Y=c_k)}\\ & =P(Y=c_k)\frac{({\prod }_{j=1}^{n}P(x_j│Y=c_k)}{{\sum }_{k=1}^{K}P(Y=c_k){\prod }_{j=1}^{n}P(x_j│Y=c_k)}\end{array}$$

至此, 每一个$P(Y=c_k│X)$都算出来了, 这个输入$X$的类别也就被分类了.
{值得注意的是, 朴素贝叶斯朴素就朴素在假设$x_1,\dots ,x_n$相互独立, 即$P(X|Y=c_k)=P(x_1│Y=c_k)\times \dots \times P(x_n│Y=c_k)$}- 属性条件独立性假设.

因此, 就可以将贝叶斯分类器写为:
$$y=f(X)=argma{x}_{c_k}\frac{P(Y=c_k){\prod }_{j=1}^{n}P(x_j│Y=c_k))}{{\sum }_{k=1}^{K}P(Y=c_k){\prod }_{j=1}^{n}P(x_j│Y=c_k)}$$
其中, $y$是分类之后的标签, $argma{x}_{c_k}\frac{P(Y=c_k){\prod }_{j=1}^{n}P(x_j│Y=c_k))}{{\sum }_{k=1}^{K}P(Y=c_k){\prod }_{j=1}^{n}P(x_j│Y=c_k)}$表示从$\frac{P(Y=c_k){\prod }_{j=1}^{n}P(x_j│Y=c_k))}{{\sum }_{k=1}^{K}P(Y=c_k){\prod }_{j=1}^{n}P(x_j│Y=c_k)}$里面挑出使该式子最大的$c_k$当作$y$. 对于不同类别$Y=c_k$来说上式的分母都一样就不用比较了, 所以:
$$y=f(X)=argma{x}_{c_k}P(Y=c_k)\prod _{j=1}^{n}P(x_j│Y=c_k)$$

对于离散属性而言, $P(x_j|Y=c_k)$可以用频数估计出来
对于连续属性而言, 可以假定$P(x_j|Y=c_k)N({\mu }_{c,j},{\sigma }_{c,j}^2)$, 其中${\mu }_{c,i}$和${\sigma }_{c,i}^2$分别取$c_k$样本第$j$个属性上取值的均值和方差.

$$P(x_j|Y=c_k)=\frac{1}{\sqrt{2\pi }{\sigma }_{c,j}}exp(-\frac{(x_j-{\mu }_{c,j}{)}^2}{2{\sigma }_{c,j}^2})$$

朴素贝叶斯假设$x_1,\dots ,x_n$相互独立, 即$P(X|Y=c_k)=P(x_1│Y=c_k)\times \dots \times P(x_n│Y=c_k)$, 但这样的简化会使估计并不准确, 准确的估计是(三)贝叶斯分类器.