基于类的概率密度函数的可分性判据

首先考虑两类问题，看一个一维的两类概率分布：

其中，（a）中的两类是完全可分的；（b）是完全不可分的。

基于类的概率密度函数的可分性判据

可用两类概率密度函数的重叠程度来度量可分性，构造基于类概率密度的可分性判据，重叠程度是指两个类概率密度函数相似的程度。基于类概率密度函数构造可分性判据 $J_p$ 时， $J_p$ 应当满足：

（1） $J_p>0$；
（2）当两类概率密度函数完全不重叠时， $J_p=max$ 达到最大；
（3）当两类概率密度函数完全重叠时， $J_p=0$ 达到最小；
（4）相对于两个概率密度函数具有 对称性。

几个常用判据如下所示：

1. Bhattacharyya判据（$J_B$）

B—判据： J B = − l n { ∫ Ω [ p ( x ⃗ ∣ w 1 ) ⋅ p ( x ⃗ ∣ w 2 ) ] 1 / 2 d x ⃗ } \displaystyle J_B=-ln\{\int_\Omega[p(\vec x|w_1)\cdot p(\vec x|w_2)]^{1/2}d\vec x\} JB​=−ln{∫Ω​[p(x ∣w1​)⋅p(x ∣w2​)]1/2dx }，其中，$p(\vec{x}|w_i)$ 为第 i 类的概率密度函数，$\Omega$ 表示特征空间；B-判据满足条件（1）、（4）；

在最小误判概率准则下，误判概率有：$P_0(e)\le [P(w_1)\cdot P(w_2){]}^{1/2}]\cdot e^{-J_B}$

2.Chernoff判据（$J_C$）

C—判据： J C = − l n { ∫ Ω p ( x ⃗ ∣ w 1 ) s ⋅ p ( x ⃗ ∣ w 2 ) 1 − s d x ⃗ } = d e f J C ( s ; x 1 , x 2 , ⋯   , x n ) = d e f J C ( w 1 , w 2 ; s ) = d e f J C ( s ) \displaystyle J_C=-ln\{\int_\Omega{p(\vec x|w_1)}^s\cdot {p(\vec x|w_2)}^{1-s}d\vec x\}\stackrel{def}{=}J_C(s;x_1,x_2,\cdots,x_n)\stackrel{def}{=}J_C(w_1,w_2;s)\stackrel{def}{=}J_C(s) JC​=−ln{∫Ω​p(x ∣w1​)s⋅p(x ∣w2​)1−sdx }=defJC​(s;x1​,x2​,⋯,xn​)=defJC​(w1​,w2​;s)=defJC​(s)，其中 $0<s<1$；$J_C$ 具有以下良好的性质：

（1）$\forall 0<s<1,J_C\ge 0;$
（2）$\forall 0<s<1,J_C=0⟺p(\vec{x}|w_1)=p(\vec{x}|w_2);$
（3）当参数 $s$ 与 $1-s$ 互调时，具有对称性：$J_C(w_1,w_2;s)=J_C(w_1,w_2;1-s);$
（4）当 $\vec{x}$ 的各个分量 $x_1,x_2,\cdots ,x_n$ 互相独立时，有可加性：$J_C(s;\vec{x})=\sum _{l=1}^n{J}_C(s;x_l);$
（5）当 $\vec{x}$ 的各个分量 $x_1,x_2,\cdots ,x_n$ 互相独立时，有：$J_C(s;x_1,x_2,\cdots ,x_{k-1})\le J_C(s;x_1,x_2,\cdots ,x_{k-1},x_k),k\le n;$
（6）其最小误判概率为：$P_0(e)\le {P(w_1)}^s\cdot {P(w_2)}^{1-s}\cdot e^{J_C(w_1,w_2;s)}$，其中 $0<s<1$；

实际上， J C = − l n { ∫ Ω p ( x ⃗ ∣ w 1 ) s ⋅ p ( x ⃗ ∣ w 2 ) 1 − s d x ⃗ } = − l n { ∫ Ω [ p ( x ⃗ ∣ w 1 ) p ( x ⃗ ∣ w 2 ) ] s ⋅ p ( x ⃗ ∣ w 2 ) d x ⃗ } \displaystyle J_C=-ln\{\int_\Omega{p(\vec x|w_1)}^s\cdot {p(\vec x|w_2)}^{1-s}d\vec x\}=-ln\{\int_\Omega[\frac{p(\vec x|w_1)}{p(\vec x|w_2)}]^s\cdot p(\vec x|w_2)d\vec x\} JC​=−ln{∫Ω​p(x ∣w1​)s⋅p(x ∣w2​)1−sdx }=−ln{∫Ω​[p(x ∣w2​)p(x ∣w1​)​]s⋅p(x ∣w2​)dx }。这可以启发了我们运用两个概率密度的比或差来描述两个概密重迭或相似的程度，引出散度。

3.散度（$J_D$，Divergence）

$w_i$ 类对 $w_j$ 类的平均可分性信息为：$I_{ij}(\vec{x})=E[ln\frac{p(\vec{x}|w_i)}{p(\vec{x}|w_j)}]={\int }_{\Omega }p(\vec{x}|w_i)\cdot ln\frac{p(\vec{x}|w_i)}{p(\vec{x}|w_j)}d\vec{x}$；
而 $w_j$ 类对 $w_i$ 类的平均可分性信息为：$I_{ji}(\vec{x})=E[ln\frac{p(\vec{x}|w_j)}{p(\vec{x}|w_i)}]={\int }_{\Omega }p(\vec{x}|w_j)\cdot ln\frac{p(\vec{x}|w_j)}{p(\vec{x}|w_i)}d\vec{x}$；

其中，$\frac{p(\vec{x}|w_i)}{p(\vec{x}|w_j)}$ 与 $\frac{p(\vec{x}|w_j)}{p(\vec{x}|w_i)}$ 为对应的似然比；

对于两类总的平均可分性信息称为散度，为两类平均可分性信息之和：
$J_D=I_{ij}(\vec{x})+I_{ji}(\vec{x})={\int }_{\Omega }[p(\vec{x}|w_i)-p(\vec{x}|w_j)]\cdot ln\frac{p(\vec{x}|w_j)}{p(\vec{x}|w_i)}d\vec{x}\stackrel{def}{=}{J}_D(w_i,w_j)\stackrel{def}{=}{J}_D(x_1,x_2,\cdots ,x_n)$，
散度具有如下性质：

（1）$J_D\ge 0;$
（2）对称性：$J_D(w_i,w_j)=J_D(w_j,w_i);$
（3）$J_D=0⟺p(\vec{x}|w_i)=p(\vec{x}|w_j);$
（4）当 $\vec{x}$ 的各个分量 $x_1,x_2,\cdots ,x_n$ 互相独立时，有可加性：$J_D(x_1,x_2,\cdots ,x_k)=\sum _{j=1}^k{J}_D(x_j)$，其中 $k\le n;$
（5）当 $\vec{x}$ 的各个分量 $x_1,x_2,\cdots ,x_n$ 互相独立时，对特征数目单调不减，即：
$J_D(x_1,x_2,\cdots ,x_{k-1})\le J_D(x_1,x_2,\cdots ,x_{k-1},x_k),k\le n;$

一般情况下，散度与误分概率(或其上下界)之间的直接解析关系很难得到，但实验证明它们之间存在着单调关系。例如两类都是正态分布，且有相同的协方差阵时，最小误分概率 $P_0(e)$ 是 $J_D$ 的单调减函数：$P_0(e)={\int }_{\frac{1}{2}\sqrt{J_D}}^{\infty }\frac{1}{\sqrt{2\pi }}exp(-\frac{y^2}{2})dy$。

多类问题时的判据

由 $J_B、J_C、J_D$ 的定义式结构以及它们与误分概率的关系可以知道，所选取的特征矢量应使所对应的 $J_B、J_C、J_D$ 尽量大，这样可分性就较好。

对于多类问题，如当总共有 c 类时，可采用平均 B—判据、C—判据、D—判据，如下：
${\bar{J}}_B=\sum _{i=1}^c\sum _{j=i+1}^{c}P(w_i)P(w_j)J_B(w_i,w_j)$

${\bar{J}}_C=\sum _{i=1}^c\sum _{j=i+1}^{c}P(w_i)P(w_j)J_C(w_i,w_j)$

${\bar{J}}_D=\sum _{i=1}^c\sum _{j=i+1}^{c}P(w_i)P(w_j)J_D(w_i,w_j)$

大盖小问题

在特征空间中，若有某两类间的 $J_B、J_C或J_D$ 很大，则会使平均判据变大，这样就掩盖了某些类对的判据值较小的情况存在，从而可能降低总的分类正确率，即所谓的大盖小问题。为改善这种情况，可对每个类对的判据采用变换的方法，使对小的判据较敏感。

例如，对 $J_D$，两类问题可采用变换： J ~ D ( w i , w j ) = 1 − e x p { − J D ( w i , w j ) 8 } \displaystyle\tilde J_D(w_i,w_j)=1-exp\{-\frac{J_D(w_i,w_j)}{8}\} J~D​(wi​,wj​)=1−exp{−8JD​(wi​,wj​)​}。这样，当 $w_i$ 和 $w_j$ 两类模式相距很远时，$J_D(w_i,w_j)$ 变得很大，但 ${\tilde{J}}_D(w_i,w_j)$ 也只能接近于 1。但对于散度 $J_D(w_i,w_j)$ 小的情况，${\tilde{J}}_D(w_i,w_j)$ 又会变得较敏感；

而对多类问题时，将总的平均（变换）判据改为：${\tilde{J}}_D=\sum _{i=1}^c\sum _{j=i+1}^{c}P(w_i)P(w_j){\tilde{J}}_D(w_i,w_j)$。

同样的，对 $J_B$，两类问题时，可变换为： J ~ B ( w i , w j ) = [ 2 ( 1 − e x p { − J B ( ( w i , w j ) } ) ] 1 / 2 \displaystyle\tilde J_B(w_i,w_j)=[2(1-exp\{-J_B((w_i,w_j)\})]^{1/2} J~B​(wi​,wj​)=[2(1−exp{−JB​((wi​,wj​)})]1/2；且 $0\le {\tilde{J}}_B(w_i,w_j)\le \sqrt{2}$；

而对多类问题时：${\tilde{J}}_B=\sum _{i=1}^c\sum _{j=i+1}^{c}P(w_i)P(w_j){\tilde{J}}_B(w_i,w_j)$。