[机器学习]贝叶斯分类器的最优性

贝叶斯分类器的最优性

提出问题:

对于有监督学习是否存在最优的分类器？我们从二分类的简单情况出发，利用Neyman-Pearson引理对这个问题进行分析.

分析问题:

1、假设检验

$(X_1,Y_1),(X_2,Y_2),\dots \dots (X_n,Y_n)\sim F(X,Y)$，给定$X$预测对应的$Y$$$\begin{gathered} H_0:Y=0vs{H}_1:Y=1 \\ Y\sim \Pi X|Y=0\sim f(X|Y=0)X|Y=1\sim f(X|Y=1) \end{gathered}$$
2、分类器:$\delta (x)=\{\begin{array}{ll}0& x\in R\\ 1& x\in R^c\end{array}$
3、对应错分率$L(d,y)=\{\begin{array}{ll}0& d=y\\ 1& d\ne y\end{array}\Rightarrow L(\delta (x),y)=\{\begin{array}{ll}0& \delta (x)=y\\ 1& \delta (x)\ne y\end{array}$
$E[L(\delta (X),Y)]=p(\delta (x)\ne y)$

问题准备:

1、Neyman-Pearson引理$H_0:\theta ={\theta }_{0}vs{H}_1:\theta ={\theta }_1{X}_1,X_2,\dots \dots X_n\stackrel{\text{i.i.d}}{\sim }f(X|\theta )L(\theta )={\prod }_{i=1}^{n}f(X_i|\theta )$$$\begin{gathered} \delta (x)=\{\begin{array}{ll}{\theta }_0& L({\theta }_0)/L({\theta }_1)\ge C\\ {\theta }_1& L({\theta }_0)/L({\theta }_1)\le C\end{array} \\ \alpha =P_{{\theta }_0}({\delta }_C(x)={\theta }_1) \end{gathered}$$
(注意:此时$\alpha$为检验的水平，N-P定理给定了最优分类器的形式)
那么此问题的目标就变成了寻找特定的C使得$P(\delta (X)\ne Y)$(错分率)最小.
此时，我们构造一个贝叶斯分类器${\delta }_{C_B}(x)=\{\begin{array}{ll}0& {\pi }_{0}p(x|y=0)/{\pi }_{1}p(x|y=1)\ge 1\\ 1& {\pi }_{0}p(x|y=0)/{\pi }_{1}p(x|y=1)<1\end{array}$
(注意:此处的${\pi }_0,{\pi }_1$为先验概率，可理解为随机有一个样本产生了，在不知道任何$X$的信息下，它属于第一类或者第二类的概率,即 p ( Y = 0 )   ,   p ( Y = 1 ) p(Y=0)\,,\,p(Y=1)