【国科大模式识别】第一次作业

【题目一】设 ${\omega }_{\max }$ 为类别状态, 此时对所有的 $i(i=1,\dots ,c)$, 有 $P\left({\omega }_{\max }\mid \mathbf{x}\right)\ge$ $P\left({\omega }_i\mid \mathbf{x}\right)$

1. 证明 $P\left({\omega }_{\max }\mid \mathbf{x}\right)\ge 1/c$（最大值大于平均值）
   $$P\left({\omega }_{\max }\mid \mathbf{x}\right)\ge \frac{1}{c}\sum _{i=1}^{c}P\left({\omega }_i\mid \mathbf{x}\right)=\frac{1}{c}$$
2. 证明对于最小错误率判定规则, 平均错误概率为
   $$P(\text{ error })=1-\int P\left({\omega }_{\max }\mid \mathbf{x}\right)p(\mathbf{x})d\mathbf{x}$$

【解】当 ${\omega }_{\text{max }}$ 不是样本的真实类别时, 决策出错, 因此错误率为（回忆一下期望公式）
$$P(\text{ error })={\mathbb{E}}_x\left(1-P\left({\omega }_{\max }\mid \mathbf{x}\right)\right)=1-\int P\left({\omega }_{\max }\mid \mathbf{x}\right)p(\mathbf{x})d\mathbf{x}$$

3. 利用这两个结论证明 $P(error)\le (c-1)/c$

【解】由 (1)(2) 的结论
$$P(\text{ error })=1-\int P\left({\omega }_{\max }\mid \mathbf{x}\right)p(\mathbf{x})d\mathbf{x}\le 1-\int \frac{1}{c}p(\mathbf{x})d\mathbf{x}=\frac{c-1}{c}$$

4. 描述一种情况, 在此情况下有 $P(error)=(c-1)/c$

【解】当对任意类别 $i$ 都有 $P\left({\omega }_i\mid \mathbf{x}\right)=1/c$ 时, $P(error)=(c-1)/c$

【题目二】对于一个 $c$ 类分类问题, 假设各类先验概率为 $P\left({\omega }_i\right),i=1,\dots ,c$; 条件概率密度为 $P\left(\mathbf{x}\mid {\omega }_i\right),i=1,\dots ,c,(\mathbf{x}$ 表示特征向量 $)$; 将第 $j$ 类样本判别为第 $i$ 类的损失为 ${\lambda }_{ij}$

1. 请写出贝叶斯风险最小决策和最小错误率决策的决策规则

【解】最小风险决策:
$$\underset{i}{\mathrm{argmin}}R\left({\alpha }_i\mid \mathbf{x}\right)$$
其中, $R\left({\alpha }_i\mid \mathbf{x}\right)={\sum }_{j=1}^c\lambda \left({\alpha }_i\mid {\omega }_j\right)P\left({\omega }_j\mid \mathbf{x}\right)$.
最小错误率决策: 此时风险为 0-1 loss, 即 $\lambda \left({\alpha }_i\mid {\omega }_j\right)=\{\begin{array}{l}0,i=j\\ 1,i\ne j\end{array}$
$$R\left({\alpha }_i\mid \mathbf{x}\right)=\sum _{j=1}^c\lambda \left({\alpha }_i\mid {\omega }_j\right)P\left({\omega }_j\mid \mathbf{x}\right)=\sum _{j\ne i}P\left({\omega }_j\mid \mathbf{x}\right)=1-P\left({\omega }_i\mid x\right)$$
决策为 $\underset{i}{\mathrm{argmax}}P\left({\omega }_i\mid x\right)$.

2. 引入拒识 (表示为第 $c+1$ 类), 假设决策损失为
   $$\lambda \left({\alpha }_i\mid {\omega }_j\right)=\{\begin{array}{ll}0,& i=ji,j=1,\dots ,c\\ {\lambda }_r,& i=c+1\\ {\lambda }_s,& \text{ otherwise }\end{array}$$
   请写出最小风险决策的决策规则 (包括分类规则和拒识规则)

【解】注意这边按照定义，$c+1$类判别为 $i$ 类的风险也是${\lambda }_s$（注意理解这个拒识的定义，很绕，我用排除法，如果不属于第一种情况，又不属于第二种情况，那就是第三种情况）
$$R\left({\alpha }_i\mid \mathbf{x}\right)=\sum _{j=1}^{c+1}\lambda \left({\alpha }_i\mid {\omega }_j\right)P\left({\omega }_j\mid \mathbf{x}\right)={\lambda }_s\left[1-P\left({\omega }_i\mid \mathbf{x}\right)\right],i=1,\cdots ,c$$
注意这边按照定义，$c+1$类判别为$c+1$类的风险也是${\lambda }_r$
$$R\left({\alpha }_{c+1}\mid \mathbf{x}\right)=\sum _{j=1}^{c+1}\lambda \left({\alpha }_{c+1}\mid {\omega }_j\right)P\left({\omega }_j\mid \mathbf{x}\right)={\lambda }_r$$

由 $R_i(x)$ 的定义可计算得:
$$R_i(x)=\{\begin{array}{c}{\lambda }_s\left[1-P\left({\omega }_i\mid \mathbf{x}\right)\right],i=1,\cdots ,c\\ {\lambda }_r,\text{ reject }\end{array}$$
因此, 带拒识的最小风险决策为:
$$\underset{i}{\mathrm{argmin}}{R}_i(x)=\{\begin{array}{c}\underset{i}{\mathrm{argmax}}P\left({\omega }_i\mid \mathbf{x}\right),\text{ if }\max P\left({\omega }_i\mid \mathbf{x}\right)>1-{\lambda }_r/{\lambda }_s\\ \text{ reject, otherwise }\end{array}$$

【题目三】考虑三维正态分布 $p(\mathbf{x}\mid \omega )\sim N(\mathbf{\mu },\Sigma )$, 其中
$$\mathbf{\mu }=\left(\begin{array}{l}1\\ 2\\ 2\end{array}\right),\Sigma =\left(\begin{array}{lll}1& 0& 0\\ 0& 5& 2\\ 0& 2& 5\end{array}\right)$$

1. 构造白化变换 ${\mathrm{A}}_{\omega }=\Phi {\Lambda }^{-1/2}$, 计算分别表示本征向量和本征值的矩阵 $\Phi$ 和 $\Lambda$; 接下来, 将此分布转换为以原点为中心、协方差矩阵为单位阵的分布, 即 $p(\mathbf{x}\mid \omega )\sim N(0,\mathrm{I})$

【解】计算可知协方差矩阵 $\Sigma$ 的本征值为: ${\lambda }_1=1,{\lambda }_2=3,{\lambda }_3=7$, 其对应的本征向量分别为: $v_1=(0,1,-1{)}^T/\sqrt{2},v_2=(0,1,1{)}^T/\sqrt{2},v_3=$ $(1,0,0{)}^T,\Phi$ 和 $\Lambda$ 和 $A_{\omega }$ 为:
$$\begin{array}{c}\Phi =\left(\begin{array}{ccc}1& 0& 0\\ 0& 1/\sqrt{2}& 1/\sqrt{2}\\ 0& -1/\sqrt{2}& 1/\sqrt{2}\end{array}\right),\Lambda =\mathrm{diag}(1,3,7)\\ {\mathrm{A}}_{\omega }=\Phi {\Lambda }^{-1/2}=\left(\begin{array}{ccc}1& 0& 0\\ 0& 1/\sqrt{6}& 1/\sqrt{14}\\ 0& -1/\sqrt{6}& 1/\sqrt{14}\end{array}\right)\end{array}$$

通过变换 $\mathbf{y}={\mathrm{A}}_{\omega }{}^T(\mathbf{x}-\mathbf{\mu })$ 可将原分布变换到 $N(0,\mathrm{I})$ （单纯的白化变换只能把协方差矩阵变为单位矩阵，这边要求均值为 $0$ ，所以还得平移一下）

2. 将 (1) 中的白化变换应用于点 ${\mathbf{x}}_0=(0.5,0,1{)}^t$, 求其经过白化变换后的点 $x_{\omega }$

【解】$${\mathbf{x}}_{\omega }={\mathrm{A}}_{\omega }^T(\mathbf{x}-\mathbf{\mu })=(-0.5,-1/\sqrt{6},-3/\sqrt{14}{)}^T$$

3. 通过详细计算, 证明原分布中从 ${\mathbf{x}}_0$ 到均值 $\mathbf{\mu }$ 的 Mahalanobis 距离与变换后的分布中从 ${\mathbf{x}}_{\omega }$ 到 $0$ 的 Mahalanobis 距离相等。

【解】$x_0$ 到 $\mu$ 的马氏距离为: $\sqrt{\frac{89}{84}},x_{\omega }$ 到 0 的马氏距离为: $\sqrt{\frac{89}{84}}$, 两者相等

4. 概率密度在一个一般的线性变换下是否保持不变? 换句话说, 对于某线性变换 $T$, 是否有 $p\left({\mathbf{x}}_0\mid N(\mathbf{\mu },\Sigma )\right)=p\left(T^t{\mathbf{x}}_0\mid N\left(T^t\mathbf{\mu },T^t\Sigma T\right)\right)$ ? 解释原因

【解】
$$\begin{array}{rl}p\left(T^t{\mathbf{x}}_0\mid N\left(T^t\mathbf{\mu },T^t\Sigma T\right)\right)& =\frac{1}{(2\pi {)}^{d/2}{\left|T^t\Sigma T\right|}^{1/2}}\exp \left(-\frac{1}{2}{\left(T^{t}x-T^t\mu \right)}^t{\left(T^t\Sigma T\right)}^{-1}\left(T^{t}x-T^t\mu \right)\right)\\ & =\frac{1}{(2\pi {)}^{d/2}{\left|T^t\Sigma T\right|}^{1/2}}\exp \left(-\frac{1}{2}(x-\mu {)}^{t}T{T}^{-1}{\Sigma }^{-1}{T}^{-t}{T}^t(x-\mu )\right)\\ & =\frac{1}{(2\pi {)}^{d/2}|\Sigma {|}^{1/2}}\exp \left(-\frac{1}{2}(x-\mu {)}^t{\Sigma }^{-1}(x-\mu )\right)\end{array}$$

【题目四】对一个 $c$ 类分类问题, 特征向量 $\mathbf{x}\in {\mathcal{R}}^d$, 假设各类先验概率相等, 每一类条件概率密度为高斯分布

1. 请写出类条件概率密度函数的数学形式

【解】类条件概率密度服从 $d$ 维高斯分布, 故类条件概率密度函数的数学形式为:
$$p\left(\mathbf{x}\mid {\omega }_i\right)=\frac{1}{(2\pi {)}^{d/2}{\left|{\Sigma }_i\right|}^{1/2}}\exp \left[-\frac{1}{2}{\left(\mathbf{x}-{\mathbf{\mu }}_i\right)}^T{\Sigma }_i^{-1}\left(\mathbf{x}-{\mathbf{\mu }}_i\right)\right]$$

2. 请写出在下面两种情况下的最小错误率决策判别函数：(a) 类协方差矩阵不等; (b) 所有类协方差矩阵相等.

【解】判别函数计算公式为:
$$g_i(\mathbf{x})=\ln p\left(\mathbf{x}\mid {\omega }_i\right)+\ln P\left({\omega }_i\right)$$
类协方差矩阵不等时：可以进一步写为:
$$g_i(\mathbf{x})=-\frac{1}{2}{\left(\mathbf{x}-{\mathbf{\mu }}_i\right)}^T{\mathbf{\Sigma }}_i^{-1}\left(\mathbf{x}-{\mathbf{\mu }}_i\right)-\frac{d}{2}\ln 2\pi -\frac{1}{2}\ln \left|{\mathbf{\Sigma }}_i\right|+\ln P\left({\omega }_i\right)$$
不考虑与类别 $i$ 无关的项, 且由于各类先验概率相等, 进一步有:
$$g_i(\mathbf{x})=-\frac{1}{2}{\left(\mathbf{x}-{\mathbf{\mu }}_i\right)}^T{\mathbf{\Sigma }}_i^{-1}\left(\mathbf{x}-{\mathbf{\mu }}_i\right)-\frac{1}{2}\ln \left|{\mathbf{\Sigma }}_i\right|$$
所有类协方差矩阵相等时: 可以进一步写为:
$$g_i(\mathbf{x})=-\frac{1}{2}{\left(\mathbf{x}-{\mathbf{\mu }}_i\right)}^T{\mathbf{\Sigma }}^{-1}\left(\mathbf{x}-{\mathbf{\mu }}_i\right)-\frac{d}{2}\ln 2\pi -\frac{1}{2}\ln |\mathbf{\Sigma }|+\ln P\left({\omega }_i\right)$$
不考虑与类别 $i$ 无关的项, 且由于各类先验概率相等, 进一步有:
$$g_i(\mathbf{x})=-\frac{1}{2}{\left(\mathbf{x}-{\mathbf{\mu }}_i\right)}^T{\mathbf{\Sigma }}^{-1}\left(\mathbf{x}-{\mathbf{\mu }}_i\right)$$

3. 在基于高斯概率密度的二次判别函数中, 当协方差矩阵为奇异时, 判别函数变得不可计算。请说出两种克服协方差奇异的方法。

【解】a. 降维, 减少特征向量的维度, 使得较低维度的协方差矩阵可逆; b. 矩阵对角化之后在特征值为 0 的位置加上小的常数; c. 求伪逆矩阵。 ${\mathbf{\Sigma }}^{†}={\left({\mathbf{\Sigma }}^T\mathbf{\Sigma }\right)}^{-1}{\mathbf{\Sigma }}^T$