9-线性分类-朴素贝叶斯分类器

1.朴素贝叶斯分类器核心思想

朴素贝叶斯分类器的核心思想是：条件独立性假设，为了方便计算

2.条件独立性假设

条件独立性假设用如下图表述，是一个简单的有向图，就是在y确定的条件下，$x_i与y_i独立$

用数学表达：
$$x_i\perp x_j|y;其中i\ne j\text{\hspace{1em}(1)}$$
一定是在y存在的情况下，$x_i独立于x_j$；
$X=(x_1,x_2,\cdots ,x_p{)}^T,朴素贝叶斯分类器主要是说明在一个数据X里面的特征向量x_i和x_j相互独立$
根据贝叶斯公式可以得：
$$p(y|x)=\frac{p(x|y)p(y)}{p(x)}=\frac{p(x,y)}{p(x)}\propto p(x,y)\text{\hspace{1em}(2)}$$

3.贝叶斯分类器的模型构建

3.1目标函数：

y ^ = a r g m a x y ∈ { 0 , 1 } p ( y ∣ x ) (3) \hat{y}=argmax_{y \in\{0,1\}}p(y|x)\tag{3} y^​=argmaxy∈{0,1}​p(y∣x)(3)
y ^ = a r g m a x y ∈ { 0 , 1 } p ( x ∣ y ) p ( y ) (4) \hat{y}=argmax_{y \in\{0,1\}}p(x|y)p(y)\tag{4} y^​=argmaxy∈{0,1}​p(x∣y)p(y)(4)
$p(x|y)由于我们定义为条件独立性假设，所以可得如下：$
$$p(x|y)=\prod _{i=1}^{N}p(x_i|y)\text{\hspace{1em}(5)}$$
$p(y)可以根据实际情况分为：二分类问题-伯努利分布，多分类问题-类别分布$
$$先验/离散特征/二分类问题=p(y)\sim BernoulliDistribution\text{\hspace{1em}(6)}$$
$$先验/离散特征/多分类问题=p(y)\sim CategorialDistribution\text{\hspace{1em}(7)}$$
朴素贝叶斯分类器和高斯判别分析的区别：离散和连续，伯努利分布和高斯分布：
$$先验/连续特征/多分类问题=p(y)\sim CategorialDistribution\text{\hspace{1em}(8)}$$

3.2 极大似然估计

y ^ = a r g m a x y ∈ { 0 , 1 } p ( x ∣ y ) p ( y ) ; 对 此 项 进 行 M L E 计 算 (9) \hat{y}=argmax_{y \in\{0,1\}}p(x|y)p(y);对此项进行MLE计算\tag{9} y^​=argmaxy∈{0,1}​p(x∣y)p(y);对此项进行MLE计算(9)
我们知道了$p(x|y)和p(y)$的概率模型，具体求值MLE可以参考:
8-线性分类-高斯判别分析