[机器学习]贝叶斯分类器的最优性

本文探讨了在有监督学习中是否存在最优分类器的问题,特别关注于贝叶斯分类器。通过Neyman-Pearson引理,分析了贝叶斯分类器的最优性质,证明了在确保犯第一类错误概率不变的情况下,贝叶斯分类器的错分率最小,从而证实了其最优性。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

贝叶斯分类器的最优性

提出问题:

对于有监督学习是否存在最优的分类器?我们从二分类的简单情况出发,利用Neyman-Pearson引理对这个问题进行分析.

分析问题:

1、假设检验

(X1,Y1),(X2,Y2),……(Xn,Yn)∼F(X,Y)(X_{1},Y_{1}),(X_{2},Y_{2}),\dots\dots(X_{n},Y_{n})\sim{}F(X,Y)(X1,Y1),(X2,Y2),(Xn,Yn)F(X,Y),给定XXX预测对应的YYYH0: Y=0 vs H1: Y=1Y∼ΠX∣Y=0∼f(X∣Y=0)X∣Y=1∼f(X∣Y=1)H_{0}:\,Y=0\ vs\ H_{1}:\,Y=1\\ Y\sim\Pi\quad X|Y=0\sim f(X|Y=0)\quad X|Y=1\sim f(X|Y=1)H0:Y=0 vs H1:Y=1YΠXY=0f(XY=0)XY=1f(XY=1)
2、分类器:δ(x)={ 0x∈R1x∈Rc\delta(x)=\begin{cases}0&x\in R\\1&x\in R^{c}\end{cases}δ(x)={ 01xRxRc
3、对应错分率L(d,y)={ 0d=y1d≠y ⇒ L(δ(x),y)={ 0δ(x)=y1δ(x)≠yL(d,y)=\begin{cases}0&d=y\\1&d\neq y\end{cases}\ \Rightarrow\ L(\delta(x),y)=\begin{cases}0&\delta(x)=y\\1&\delta(x)\neq y\end{cases}L(d,y)={ 01d=yd=y  L(δ(x),y)={ 01δ(x)=yδ(x)=y
E[L(δ(X),Y)]=p(δ(x)≠y)E[L(\delta(X),Y)]=p(\delta(x)\ne y)E[L(δ(X),Y)]=p(δ(x)=y)

问题准备:

1、Neyman-Pearson引理H0: θ=θ0 vs H1: θ=θ1 X1,X2,……Xn∼i.i.df(X∣θ)L(θ)=∏i=1nf(Xi∣θ)H_{0}:\,\theta=\theta_{0}\ vs\ H_{1}:\,\theta=\theta_{1}\ X_{1},X_{2},\dots\dots X_{n}\stackrel{\text{i.i.d}}{\sim}f(X|\theta)\quad L(\theta)=\prod^{n}_{i=1}f(X_{i}|\theta)H0:θ=θ0 vs H1:θ=θ1 X1,X2,Xni.i.df(Xθ)L(θ)=i=1nf(Xiθ)δ(x)={ θ0L(θ0)/L(θ1)≥Cθ1L(θ0)/L(θ1)≤C  α=Pθ0(δC(x)=θ1)\delta(x)=\begin{cases}\theta_{0}& L(\theta_{0})/L(\theta_{1})\ge C\\\theta_{1}& L(\theta_{0})/L(\theta_{1})\le C\end{cases}\\ \ \\ \ \\ \alpha=P_{\theta_{0}}(\delta_{C}(x)=\theta_{1})δ(x)={ θ0θ1L(θ0)/L(θ1)CL(θ0)/L(θ1)C  α=Pθ0(δC(x)=θ1)
(注意:此时α\alphaα为检验的水平,N-P定理给定了最优分类器的形式)
那么此问题的目标就变成了寻找特定的C使得P(δ(X)≠Y)P(\delta(X)\neq Y)P(δ(X)=Y)(错分率)最小.
此时,我们构造一个贝叶斯分类器δCB(x)={ 0π0 p(x∣y=0) / π1 p(x∣y=1)≥11π0 p(x∣y=0) / π1 p(x∣y=1)<1\delta_{C_{B}}(x)=\begin{cases}0& \pi_{0}\,p(x|y=0)\,/\,\pi_{1}\,p(x|y=1)\ge 1\\1& \pi_{0}\,p(x|y=0)\,/\,\pi_{1}\,p(x|y=1)<1\end{cases}δCB(x)={ 01π0p(xy=0)/π1p(xy=1)1π0p(xy=0)/π1p(xy=1)<1
(注意:此处的π0 , π1\pi_{0}\,,\,\pi_{1}π0,

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值