模式识别——统计决策方法——正态分布时的统计决策

模式识别——统计决策方法——正态分布时的统计决策

正态分布性质回顾

单变量正态分布概率密度函数定义为

p ( x ) = 1 2 x σ e x p { − 1 2 ( x − μ σ ) 2 } p(x)=\frac{1}{\sqrt{2x}\sigma}exp\{-\frac{1}{2}(\frac{x-\mu}{\sigma})^2\} p(x)=2x ​σ1​exp{−21​(σx−μ​)2}

多元正态分布的概率密度函数定义为

p ( x ) = 1 ( 2 π ) d 2 ∣ ∑ ∣ 1 2 e x p { − 1 2 ( x − μ ) T ∑ − 1 ( x − μ ) } 其中 μ = E { x } , ∑ = E { ( x − μ ) ( x − μ ) T } p(x)=\frac{1}{(2\pi)^{\frac{d}{2}}\vert{{\sum\rvert}}^{\frac{1}{2}}}exp\{-\frac{1}{2}(x-\mu)^{T}{\sum}^{-1}(x-\mu)\}\\ 其中 \mu=E\{x\}, \sum=E\{(x-\mu)(x-\mu)^T\} p(x)=(2π)2d​∣∑∣21​1​exp{−21​(x−μ)T∑−1(x−μ)}其中μ=E{x},∑=E{(x−μ)(x−μ)T}

正态分布下的最小错误率贝叶斯决策

根据前面最小错误率贝叶斯判别函数和决策面的有关公式，在正态分布下的概率$p(x|w_1)\backsim (\mu ,\sum )$我们可以得到新的判别函数（即正态分布下的后验概率）：
$$g_i(x)=-\frac{1}{2}(x-\mu {)}^T{\sum _i}^{-1}(x-\mu )-\frac{d}{2}ln2\pi -\frac{1}{2}ln|{\sum }_i|+lnP(w_i)$$
决策面方程为 $g_i(x)=g_j(x)$

即
$$-\frac{1}{2}[(x-{\mu }_i{)}^T{\sum }_i^{-1}(x-{\mu }_i)-(x-{\mu }_j{)}^T{\sum }_j^{-1}(x-{\mu }_j)]-\frac{1}{2}ln\frac{|{\sum }_i|}{|{\sum }_j|}+ln\frac{P(w_i)}{P(w_i)}=0$$

特殊情况1：${\sum }_i={\sigma }^{2}I,i=1,2,...,c$

每类的协方差矩阵都相等，类内各特征间相互独立，且具有相等的方差

此时有：
$$g_i(x)=-\frac{1}{2{\sigma }^2}(x-{\mu }_i{)}^T(x-{\mu }_i)+lnP(w_i)$$
因为$x^{T}x$项与i无关，可以忽略，则判别函数为
$$\begin{array}{rl}{g}_i(x)& =-\frac{1}{2{\sigma }^2}(-2{\mu }_i^{T}x+{\mu }_i^T{\mu }_i)+lnP(w_i)\\ & =\frac{{\mu }_i^T}{{\sigma }^2}x-\frac{1}{2{\sigma }^2}{\mu }_i^T{\mu }_i+lnP(w_i))\\ & =w^{T}x+w_{i0}\end{array}$$
其中$w=\frac{{\mu }_i}{{\sigma }^2},w_{i0}=-\frac{1}{2{\sigma }^2}{\mu }_i^T{\mu }_i+lnP(w_i))$

决策规则：
$$若g_i(x)=ma{x}_i{g}_i(x)，则x\in w_i$$
由该式可以看出，判别函数$g_i(x)$是x的线性函数，因此称为线性分类器

特殊情况2：${\sum }_i=\sum ,i=1,2,...,c$

与情况1类似，各类的协方差矩阵都相同，但是各特征间不一定相互独立。从几何上看，相当于各类样本集中于以该均值${\mu }_i$为中心的同样大小和形状的超椭球内

其判别函数为
$$\begin{array}{rl}{g}_i(x)& =-\frac{1}{\sum }(-2{\mu }_i^{T}x+{\mu }_i^T{\mu }_i)+lnP(w_i)\\ & =\frac{{\mu }_i^T}{\sum }x-\frac{1}{2\sum }{\mu }_i^T{\mu }_i+lnP(w_i))\\ & =w^{T}x+w_{i0}\end{array}$$
其中$w=\frac{{\mu }_i}{\sum },w_{i0}=-\frac{1}{2\sum }{\mu }_i^T{\mu }_i+lnP(w_i))$

特殊情况3：各类的协方差不相等

这是多元正态分布的一般情况，判别函数为：
$$\begin{array}{rl}{g}_i(x)& =-\frac{1}{2}(x-\mu {)}^T{\sum _i}^{-1}(x-\mu )-\frac{1}{2}ln|{\sum }_i|+lnP(w_i)\\ & =x^T{W}_{i}x+w_{i}x+w_{i0}\end{array}$$
其中
$$\begin{gathered} W_i=-\frac{1}{2}\sum ^{-1} \\ {w}_i=\sum _i^{-1}{\mu }_i \\ {w}_{i0}=-\frac{1}{2}{\mu }_i^T\sum _i^{-1}{\mu }_i-\frac{1}{2}ln|{\sum }_i|+lnP(w_i) \end{gathered}$$

此时判别函数表示为x的二次型，决策面为超二次曲面