2020-09-26

《模式识别》第四版(希腊)西奥多里蒂斯第二章习题2.34题解

证明： 设${\omega }_1$和${\omega }_2$的条件概率密度函数如图所示, 它们的中心分别为$(\mp a,0)$, 半径都是$r$, 并且$2a>4r$, 即$a>2r$.

设${\mathbf{x}}_1$, ${\mathbf{x}}_2$, …, ${\mathbf{x}}_N$为训练样本, $\mathbf{x}$是待分类的数据, 不妨设训练样本是独立的, 并且待分类点$\mathbf{x}$与训练样本是独立的. 由于$\mathbf{x}$或者属于${\omega }_1$, 或者属于${\omega }_2$, 所以可以认为先验概率 P { ω 1 } = P { ω 2 } = 1 / 2 P\{\omega_{1}\}=P\{\omega_{2}\}=1/2 P{ω1​}=P{ω2​}=1/2. 用$e_{\mathrm{N}\mathrm{N}}$和$e_{k\mathrm{N}\mathrm{N}}$分别表示NN分类器和$k$NN分类器的误判概率. 先计算$e_{\mathrm{N}\mathrm{N}}$. 设${\mathbf{x}}^{\prime }$是待分类数据$\mathbf{x}$的最近邻点. 那么
e N N = P { x ∈ ω 1 , x ′ ∈ ω 2 } + P { x ∈ ω 2 , x ′ ∈ ω 1 } = P { x ∈ ω 1 } P { x ′ ∈ ω 2 ∣ x ∈ ω 1 } + P { x ∈ ω 2 } P { x ′ ∈ ω 1 ∣ x ∈ ω 2 } = 1 2 P { x ′ ∈ ω 2 ∣ x ∈ ω 1 } + 1 2 P { x ′ ∈ ω 1 ∣ x ∈ ω 2 } \begin{array}{rl} e_{\mathrm{NN}}&=P\{\boldsymbol{x}\in\omega_{1},\boldsymbol{x}'\in\omega_{2}\}+P\{\boldsymbol{x}\in\omega_{2},\boldsymbol{x}'\in\omega_{1}\}\\ &=P\{\boldsymbol{x}\in\omega_{1}\}P\{\boldsymbol{x}'\in\omega_{2}|\boldsymbol{x}\in\omega_{1}\}\\ &\hspace{4mm}+P\{\boldsymbol{x}\in\omega_{2}\}P\{\boldsymbol{x}'\in\omega_{1}|\boldsymbol{x}\in\omega_{2}\}\\ &=\frac{1}{2}P\{\boldsymbol{x}'\in\omega_{2}|\boldsymbol{x}\in\omega_{1}\}+\frac{1}{2}P\{\boldsymbol{x}'\in\omega_{1}|\boldsymbol{x}\in\omega_{2}\} \end{array} eNN​​=P{x∈ω1​,x′∈ω2​}+P{x∈ω2​,x′∈ω1​}=P{x∈ω1​}P{x′∈ω2​∣x∈ω1​}+P{x∈ω2​}P{x′∈ω1​∣x∈ω2​}=21​P{x′∈ω2​∣x∈ω1​}+21​P{x′∈ω1​∣x∈ω2​}​
由于$a>2r$, 给定$\mathbf{x}\in {\omega }_1$, 如果${\mathbf{x}}^{\prime }\in {\omega }_2$, 则$\Vert \mathbf{x}-{\mathbf{x}}^{\prime }\Vert >2r$. 因此, 给定$\mathbf{x}\in {\omega }_1$, 当${\mathbf{x}}^{\prime }\in {\omega }_2$时, 所有训练样本都属于${\omega }_2$. 若不然, 存在训练样本${\mathbf{x}}_i$, ${\mathbf{x}}_i\ne {\mathbf{x}}^{\prime }$, ${\mathbf{x}}_i\in {\omega }_1$, 则$\Vert {\mathbf{x}}_i-\mathbf{x}\Vert \le 2r$, 这与${\mathbf{x}}^{\prime }$是最近邻点矛盾. 因此所有训练样本都属于${\omega }_2$. 反之, 当所有的训练样本都属于${\omega }_2$时, 则一定有${\mathbf{x}}^{\prime }\in {\omega }_2$.
因此, 给定$\mathbf{x}\in {\omega }_1$下, { x ′ ∈ ω 2 } = { x i ∈ ω 2 , i = 1 , 2 , . . . , N } \{\boldsymbol{x}'\in\omega_{2}\}=\{\boldsymbol{x}_{i}\in\omega_{2},i=1,2,...,N\} {x′∈ω2​}={xi​∈ω2​,i=1,2,...,N}.
所以利用训练样本的独立性得到
P { x ′ ∈ ω 2 ∣ x ∈ ω 1 } = P { x i ∈ ω 2 , i = 1 , 2 , . . . , N } = ∏ i = 1 N P { x i ∈ ω 2 } = ( 1 2 ) N \begin{array}{rl} P\{\boldsymbol{x}'\in\omega_{2}|\boldsymbol{x}\in\omega_{1}\} &=P\{\boldsymbol{x}_{i}\in\omega_{2},i=1,2,...,N\}\\ &=\prod^{N}_{i=1} P\{\boldsymbol{x}_{i}\in\omega_{2}\}=\Big(\frac{1}{2}\Big)^{N} \end{array} P{x′∈ω2​∣x∈ω1​}​=P{xi​∈ω2​,i=1,2,...,N}=∏i=1N​P{xi​∈ω2​}=(21​)N​
同理
P { x ′ ∈ ω 1 ∣ x ∈ ω 2 } = ( 1 2 ) N P\{\boldsymbol{x}'\in\omega_{1}|\boldsymbol{x}\in\omega_{2}\}=\Big(\frac{1}{2}\Big)^{N} P{x′∈ω1​∣x∈ω2​}=(21​)N
从而
$$e_{\mathrm{N}\mathrm{N}}=\frac{1}{2}(\frac{1}{2}{)}^N+\frac{1}{2}(\frac{1}{2}{)}^N=(\frac{1}{2}{)}^N$$
现在考虑$e_{k\mathrm{N}\mathrm{N}}$. 由于$k$一般是奇数, 所以记$k=2k_0+1$. 那么当$\mathbf{x}\in {\omega }_1$时,
而$N$个训练样本属于${\omega }_1$的个数不多于$k_0$时, 则$k$NN法则会将$\mathbf{x}$归类到${\omega }_2$, 于是出现误判. 因此
e k N N = P { x ∈ ω 1 ,    N 个训练样本属于 ω 1 的个数不多于 k 0 } + P { x ∈ ω 2 ,    N 个训练样本属于 ω 2 的个数不多于 k 0 } = P { x ∈ ω 1 } P { N 个训练样本属于 ω 1 的个数不多于 k 0    ∣ x ∈ ω 1 } + P { x ∈ ω 2 } P { N 个训练样本属于 ω 2 的个数不多于 k 0    ∣ x ∈ ω 2 } = 1 2 P { N 个训练样本属于 ω 1 的个数不多于 k 0    ∣ x ∈ ω 1 } + 1 2 P { N 个训练样本属于 ω 2 的个数不多于 k 0    ∣ x ∈ ω 2 } \begin{array}{rl} e_{k\mathrm{NN}} &=P\{\boldsymbol{x}\in\omega_{1},\;N\texttt{个训练样本属于}\omega_{1}\texttt{的个数不多于}k_{0}\}\\ &\hspace{4mm}+P\{\boldsymbol{x}\in\omega_{2},\;N\texttt{个训练样本属于}\omega_{2}\texttt{的个数不多于}k_{0}\}\\ &=P\{\boldsymbol{x}\in\omega_{1}\}P\{N\texttt{个训练样本属于}\omega_{1}\texttt{的个数不多于}k_{0}\;|\boldsymbol{x}\in\omega_{1}\}\\ &\hspace{4mm}+P\{\boldsymbol{x}\in\omega_{2}\}P\{N\texttt{个训练样本属于}\omega_{2}\texttt{的个数不多于}k_{0}\;|\boldsymbol{x}\in\omega_{2}\}\\ &=\frac{1}{2}P\{N\texttt{个训练样本属于}\omega_{1}\texttt{的个数不多于}k_{0}\;|\boldsymbol{x}\in\omega_{1}\}\\ &\hspace{4mm}+\frac{1}{2}P\{N\texttt{个训练样本属于}\omega_{2}\texttt{的个数不多于}k_{0}\;|\boldsymbol{x}\in\omega_{2}\} \end{array} ekNN​​=P{x∈ω1​,N个训练样本属于ω1​的个数不多于k0​}+P{x∈ω2​,N个训练样本属于ω2​的个数不多于k0​}=P{x∈ω1​}P{N个训练样本属于ω1​的个数不多于k0​∣x∈ω1​}+P{x∈ω2​}P{N个训练样本属于ω2​的个数不多于k0​∣x∈ω2​}=21​P{N个训练样本属于ω1​的个数不多于k0​∣x∈ω1​}+21​P{N个训练样本属于ω2​的个数不多于k0​∣x∈ω2​}​
所以利用$\mathbf{x}$与训练样本的独立性, 以及训练样本的独立性, 得到
P { N 个训练样本属于 ω 1 的个数不多于 k 0 ∣ x ∈ ω 1 } = P { N 个训练样本属于 ω 1 的个数不多于 k 0 } = P { N 个训练样本属于 ω 1 的个数为零 } + P { N 个训练样本属于 ω 1 的个数为 1 } + ⋯ + P { N 个训练样本属于 ω 1 的个数为 k 0 } = ∑ j = 1 k 0 (  ⁣ ⁣ N j  ⁣ ⁣ ) ( 1 2 ) j ( 1 − 1 2 ) N − j = ( 1 2 ) N ∑ j = 1 k 0 (  ⁣ ⁣ N j  ⁣ ⁣ ) \begin{array}{rl} &P\{N\texttt{个训练样本属于}\omega_{1}\texttt{的个数不多于}k_{0}|\boldsymbol{x}\in\omega_{1}\}\\ &=P\{N\texttt{个训练样本属于}\omega_{1}\texttt{的个数不多于}k_{0}\}\\ &=P\{N\texttt{个训练样本属于}\omega_{1}\texttt{的个数为零}\}\\ &\hspace{4mm}+P\{N\texttt{个训练样本属于}\omega_{1}\texttt{的个数为}1\}\\ &\hspace{4mm}+\cdots+P\{N\texttt{个训练样本属于}\omega_{1}\texttt{的个数为}k_{0}\}\\ &=\sum^{k_{0}}_{j=1} \Big(\!\! \begin{array}{c} N \\ j \end{array}\!\!\Big) \big(\frac{1}{2}\big)^{j}\big(1-\frac{1}{2}\big)^{N-j}\\ &=\big(\frac{1}{2}\big)^{N}\sum^{k_{0}}_{j=1} \Big(\!\! \begin{array}{c} N \\ j \end{array}\!\!\Big) \end{array} ​P{N个训练样本属于ω1​的个数不多于k0​∣x∈ω1​}=P{N个训练样本属于ω1​的个数不多于k0​}=P{N个训练样本属于ω1​的个数为零}+P{N个训练样本属于ω1​的个数为1}+⋯+P{N个训练样本属于ω1​的个数为k0​}=∑j=1k0​​(Nj​)(21​)j(1−21​)N−j=(21​)N∑j=1k0​​(Nj​)​
同理
P { N 个训练样本属于 ω 2 的个数不多于 k 0 ∣ x ∈ ω 2 } = ( 1 2 ) N ∑ j = 1 k 0 (  ⁣ ⁣ N j  ⁣ ⁣ ) \begin{array}{rl} &P\{N\texttt{个训练样本属于}\omega_{2}\texttt{的个数不多于}k_{0}|\boldsymbol{x}\in\omega_{2}\}\\ &=\big(\frac{1}{2}\big)^{N}\sum^{k_{0}}_{j=1} \Big(\!\! \begin{array}{c} N \\ j \end{array}\!\!\Big) \end{array} ​P{N个训练样本属于ω2​的个数不多于k0​∣x∈ω2​}=(21​)N∑j=1k0​​(Nj​)​
因此
$$\begin{array}{rl}{e}_{k\mathrm{N}\mathrm{N}}=& \frac{1}{2}\left(\frac{1}{2}{)}^N{\sum }_{j=1}^{k_0}\right(\begin{array}{c}N\\ j\end{array})+\frac{1}{2}(\frac{1}{2}{)}^N{\sum }_{j=1}^{k_0}\left(\begin{array}{c}N\\ j\end{array}\right)\\ & =\left(\frac{1}{2}{)}^N{\sum }_{j=1}^{k_0}\right(\begin{array}{c}N\\ j\end{array})\end{array}$$
当$k\ge 3$时, $k_0\ge 1$, 所以$e_{k\mathrm{N}\mathrm{N}}>e_{\mathrm{N}\mathrm{N}}$.