正态分布时的统计决策

2.5 正态分布时的统计决策

2.5.1 正态分布及其性质回顾

单变量正态分布

概率密度
p ( x ) = 1 2 π σ exp ⁡ { − 1 2 ( x − μ σ ) 2 } ( 2 − 45 ) μ = E { x } = ∫ − ∞ + ∞ x p ( x ) d x ( 2 − 46 ) σ 2 = ∫ − ∞ + ∞ ( x − μ ) 2 p ( x ) d x ( 2 − 47 ) p(x) = \dfrac {1} {\sqrt {2 \pi} \sigma} \exp \{{- \dfrac {1} {2}(\dfrac {x-\mu} {\sigma})^2}\} \quad(2-45) \newline \mu = E\{x \} = \int_{-\infin}^{+\infin}xp(x)dx \quad(2-46) \newline \sigma ^2 = \int_{-\infin}^{+\infin}(x-\mu)^2p(x)dx \quad(2-47) p(x)=2π ​σ1​exp{−21​(σx−μ​)2}(2−45)μ=E{x}=∫−∞+∞​xp(x)dx(2−46)σ2=∫−∞+∞​(x−μ)2p(x)dx(2−47)

多元正态分布

1. 概率密度
   p ( x ) = 1 ( 2 π ) d / 2 ∣ Σ ∣ 1 / 2 exp ⁡ { − 1 2 ( x − μ ) T Σ − 1 ( x − μ ) } ( 2 − 48 ) μ = E { x } ( 2 − 49 ) Σ = E { ( x − μ ) ( x − μ ) T } ( 2 − 50 ) γ 2 = ( x − μ ) T Σ − 1 ( x − μ ) ( 2 − 56 ) p(x) = \dfrac {1} {(2\pi)^{d/2}|\Sigma|^{1/2}} \exp\{-\dfrac{1}{2}(x-\mu)^T \Sigma^{-1} (x-\mu)\} \quad(2-48) \newline μ=E\{x\}\quad(2-49) \newline Σ=E\{(x−μ)(x−μ)^T\}\quad(2-50) \newline \gamma^2 = (x-\mu)^T\Sigma^{-1}(x-\mu)\quad(2-56) p(x)=(2π)d/2∣Σ∣1/21​exp{−21​(x−μ)TΣ−1(x−μ)}(2−48)μ=E{x}(2−49)Σ=E{(x−μ)(x−μ)T}(2−50)γ2=(x−μ)TΣ−1(x−μ)(2−56)
   $\Sigma$是协方差矩阵，是对称阵，（2-56）称为由$x$到$\mu$的马氏距离的平方
2. 性质

• 参数$\mu$和$\Sigma$决定分布
• 等密度点的轨迹为一超椭球面
• 不相关性等价于独立性
• 边缘分布、条件分布、线性变换、线性组合都有正态性

2.5.2 正态分布概率模型下的最小错误率贝叶斯决策

判别函数：
$$g_i(x)=-\frac{1}{2}(x-{\mu }_i{)}^T{\Sigma }^{-1}(x-{\mu }_i)-\frac{d}{2}\ln 2\pi -\frac{1}{2}\ln |{\Sigma }_i|+\ln P({\omega }_i)(2-66)$$

决策面方程：
$$g_i(x)=g_j(x)$$
即
$$-\frac{1}{2}[(x-{\mu }_i{)}^T{\Sigma }_i^{-1}(x-{\mu }_i)-(x-{\mu }_j{)}^T{\Sigma }_j^{-1}(x-{\mu }_j)]-\frac{1}{2}\ln \frac{|{\Sigma }_i|}{|{\Sigma }_j|}+\ln \frac{P({\omega }_I)}{P({\omega }_j)}=0(2-67)$$

第一种情况

${\Sigma }_i={\sigma }^{2}I,i=1,2,\dots ,c$
$$\begin{gathered} |{\Sigma }_i|={\sigma }^{2d}(2-69) \\ {\Sigma }_i^{-1}=\frac{1}{{\sigma }^2}I(2-70) \end{gathered}$$
将（2-69）和（2-70）代入（2-66）得判别函数：
$$g_i(x)=-\frac{(x-{\mu }_i{)}^T(x-{\mu }_i)}{2{\sigma }^2}-\frac{d}{2}\ln 2\pi -\frac{1}{2}\ln {\sigma }^{2d}+\ln P({\omega }_i)(2-71)$$
由于上式中第二、三项与类别$i$无关，化简得：
$$g_i(x)=-\frac{1}{2{\sigma }^2}(x-{\mu }_i{)}^T(x-{\mu }_i)+\ln P({\omega }_i)=-\frac{1}{2{\sigma }^2}||x-{\mu }_i|{|}^2+\ln p({\omega }_i)(2-72)$$
式中
$$(x-{\mu }_i{)}^T(x-{\mu }_i)=||x-{\mu }_i|{|}^2=\sum _{j=1}^d(x_j-{\mu }_{ij}{)}^2,i=1,\dots ,c(2-73)$$
是又$x$到${\omega }_i$的均值向量${\mu }_i$的欧式距离的平方。

先验概率不相等

$$P({\omega }_i)/=P({\omega }_j)$$
由于$x^{T}x$与$i$无关，（2-72）可化简得判别函数：
$$g_i(x)=\frac{{\mu }_i^T}{{\sigma }^2}x-\frac{1}{2{\sigma }^2}{\mu }_i^T{\mu }_i+\ln P({\omega }_i)=w_i^{T}x+{\omega }_{i0}(2-75)$$
其中
$$\begin{gathered} w_i=\frac{1}{{\sigma }^2}{\mu }_i(2-76) \\ {\omega }_{i0}=-\frac{1}{2{\sigma }^2}{\mu }_i^T{\mu }_i+\ln P({\omega }_i)(2-77) \end{gathered}$$
决策面方程
$$w^T(x-x_0)=0(2-79)$$
其中
$$\begin{gathered} w={\mu }_i-{\mu }_j \\ {x}_0=\frac{1}{2}({\mu }_i+{\mu }_j)-\frac{{\sigma }^2}{||{\mu }_i-{\mu }_j|{|}^2}\ln \frac{P({\omega }_i)}{P({\omega }_j)}({\mu }_i-{\mu }_j)(2-80) \end{gathered}$$

先验概率相等

$$P({\omega }_i)=P({\omega }_j)$$
（2-72）化简得判别函数：
$$g_i(x)=-\frac{1}{2{\sigma }^2}(x-{\mu }_i{)}^T(x-{\mu }_i)=-\frac{1}{2{\sigma }^2}||x-{\mu }_i|{|}^2$$
此时$x=\underset{i=1,\dots ,c}{\mathrm{argmin}}||x-{\mu }_i|{|}^2$。即最小距离分类器。
最小距离分类器：

先验概率相等时，决策面为中垂线；当先验概率不相等时，决策面向先验概率小的方向偏移。

第二种情况

$${\Sigma }_i=\Sigma$$
此时判别函数可以化简为：
$$g_i(x)=-\frac{1}{2}(x-{\mu }_i{)}^T{\Sigma }^{-1}(x-{\mu }_i)+\ln P({\omega }_i)(2-81)$$
忽略与$i$无关的项得判别函数：
$$g_i(x)=w_i^{T}x+{\omega }_{i0}(2-83)$$
其中
$$\begin{gathered} w_i={\Sigma }^{-1}{\mu }_i(2-84) \\ {\omega }_{i0}=-\frac{1}{2}{\mu }_i^T{\Sigma }^{-1}{\mu }_i+\ln P({\omega }_i)(2-85) \end{gathered}$$
决策面方程：
$$w^T(x-x_0)=0(2-86)$$
其中
$$\begin{gathered} w={\Sigma }^{-1}({\mu }_i-{\mu }_j)(2-87) \\ {x}_0=\frac{1}{2}({\mu }_i+{\mu }_j)-\frac{\ln \frac{P({\omega }_i)}{P({\omega }_j)}}{({\mu }_i-{\mu }_j{)}^T{\Sigma }^{-1}({\mu }_i-{\mu }_j)}({\mu }_i-{\mu }_j)(2-88) \end{gathered}$$

先验概率相等

$$P({\omega }_i)=P({\omega }_j)$$
（2-88）可化简为：
$$x_0=\frac{1}{2}({\mu }_i+{\mu }_j)(2-89)$$
此时$x_0$为${\mu }_i$与${\mu }_j$连线的中点，并且$x=\mathrm{argmin}{\gamma }^2=\mathrm{argmin}(x-{\mu }_i{)}^T{\Sigma }^{-1}(x-{\mu }_i)$，即$x$归于马氏距离平方最小的类别。

先验概率不相等

决策面向先验概率小的方向偏移

第三种情况：各类协方差矩阵不相等

判别函数：
$$\begin{gathered} g_i(x)=-\frac{1}{2}(x-{\mu }_i{)}^T{\Sigma }_i^{-1}(x-{\mu }_i)-\frac{1}{2}\ln |{\Sigma }_i|+\ln P({\omega }_i) \\ =x^T{W}_{i}x+w_i^{T}x+{\omega }_{i0}(2-91) \end{gathered}$$
其中
$$\begin{gathered} W_i=-\frac{1}{2}{\Sigma }_i^{-1}(2-92) \\ {w}_i={\Sigma }_i^{-1}{\mu }_i(2-93) \\ {\omega }_{i0}=-\frac{1}{2}{\mu }_i^T{\Sigma }_i^{-1}{\mu }_i-\frac{1}{2}\ln |{\Sigma }_i|+\ln P({\omega }_i)(2-94) \end{gathered}$$
决策面方程：
$$x^T(W_i-W_j)x+(w_i-w_j{)}^{T}x+{\omega }_{i0}-{\omega }_{j0}=0(2-95)$$

参考
张学工. 模式识别. 第三版. 北京：清华大学出版社，2010
张学工，汪小我. 模式识别与机器学习. 第四版. 北京：清华大学出版社，2021
部分图片来源于网络