《模式识别》课本一个小推导

对于一个二分类 { ω 1 \{ \omega_1 {ω1​,${\omega }_2\}$问题,我们记将属于第一类${\omega }_1$样本$x$误分类成${\omega }_2$的概率为$$P_1(e)={\int }_{{\mathbb{R}}_2}p(x|{\omega }_1)dx$$
,同理，将属于第一类${\omega }_1$样本$x$误分类成${\omega }_2$的概率为
$$P_2(e)={\int }_{{\mathbb{R}}_1}p(x|{\omega }_2)dx$$
我们现在希望$P_1$,$P_2$都尽可能小，但在实际优化过程中我们一般采用固定一个错误率，尽可能减少另一个错误的方式建模。
所以，现在我们得到一个具有约束的优化问题，即：
$$\begin{gathered} min{P}_1(e) \\ s.t.P_2(e)-{ϵ}_0=0 \end{gathered}$$
其中，${ϵ}_0$为一个尽可能小的数。
我们可以构造拉格朗日函数
$$\begin{array}{lr}L(\lambda ,x)& \\ =P_1(x)+\lambda (P_2(x)-{ϵ}_0)& \\ ={\int }_{{\mathbb{R}}_2}p(x|{\omega }_1)dx+\lambda ({\int }_{{\mathbb{R}}_1}p(x|{\omega }_2)dx-{ϵ}_0)& \\ =1-{\int }_{{\mathbb{R}}_1}p(x|{\omega }_1)dx+\lambda ({\int }_{{\mathbb{R}}_1}p(x|{\omega }_2)dx-{ϵ}_0)& \\ =(1-\lambda {ϵ}_0)+{\int }_{{\mathbb{R}}_1}(\lambda p(x|{\omega }_2)-p(x|{\omega }_1))dx& \end{array}$$
此时我们的目标转化为：
$$\begin{array}{lr}minL(\lambda ,x)& \\ & \end{array}$$

对$L$求偏导得到
$$\{\begin{array}{lr}\lambda =\frac{p(x|{\omega }_1)}{p(x|{\omega }_2)}& \\ & \\ {\int }_{{\mathbb{R}}_1}p(x|{\omega }_2)dx={ϵ}_0& \end{array}$$

由于很难找到$\lambda$的一个解析表达式，我们采用数值解法进行求解。我们定义似然比为
$$l(x)=\frac{p(x|{\omega }_1)}{p(x|{\omega }_2)}$$

对于$\forall x\in {\mathbb{R}}_1\cup {\mathbb{R}}_2,l(x)\to (0,+\infty )$,当$\forall x\in {\mathbb{R}}_1$时, $l(x)\in (0,\lambda )$。由于似然函数严格单调，不妨设单调递增，则似然函数必然存在反函数$l^{-1}(x)$,根据连续随机变量函数的分布，我们可以得到，
$$\begin{array}{lr}p(x|{\omega }_2)dx& \\ \to p(l(x)|{\omega }_2)l^{\prime }(x)dx& \\ =p(l(x)|{\omega }_2)dl& \end{array}$$
我们定义似然比密度函数为$p(l(x)|{\omega }_2)$,所以
$$P_2(e)=1-{\int }_0^{\lambda }p(l(x)|{\omega }_2)dl$$