【算法】朴素贝叶斯法之分类算法

朴素贝叶斯法之分类算法

说明

        本文只是对于朴素贝叶斯法的其中的一个分类算法的学习。参考来源《统计学习方法》。

---

一、 输入

训练数据 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . ( x N , y N ) } T= \left \{(x_1,y_1),(x_2,y_2),...(x_N,y_N)\right \} T={(x1​,y1​),(x2​,y2​),...(xN​,yN​)},其中$x_i=(x_i^{(1)},x_i^{(2)},...x_i^{(n)}{)}^T$

       1：$x_i^{(i)}$是第 $i$ 个样本的第 $j$ 个特征，其中$x_i^{(j)}\in \left\{a_{j1},a_{j2},...a_{j{s}_j}\right\}$,
       2：$a_{jl}$是第$j$个特征可能取的第$l$个值，其中 j = 1 , 2 , , . . S j ， y i ∈ { c 1 , c 2 , . . . c k } j=1,2,,..S_j，y_i\in\left \{ c_1,c_2,...c_k \right \} j=1,2,,..Sj​，yi​∈{c1​,c2​,...ck​}

二、输出实例 x 的分类

• 计算先验概率及条件概率

        $P(Y=C_k)={\sum }_{i=1}^{N}I(j_i-c_k)/N,k=1,2,...K$

       $P(X^j=a_{jl}|Y=c_k)={\sum }_{i=1}^{N}I(x_i^j=a_{jl},y_i=c_k)/{\sum }_{i=1}^{N}I(y_i=c_k)$其中$j=1,2,...n;l=1,2,...S;k=1,2,...K$.

• 对于给定的实例$x=(x^{(1)},x^{(2)},...x^{(n)}{)}^T$计算
  $P(Y=c_k){\prod }_{j=1}^{n}P(X^j=x^j|Y=c_k),k=1,2,...K$

• 确定实例 $x$ 的类
  $y=argmaxP(Y=c_k){\prod }_{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)$

以上就是朴素贝叶斯法之分类算法的思路过程。关于朴素贝叶斯法具体详情可以参考《统计学习方法》。