模式识别学习笔记-数学知识

数学期望(均值)和方差

随机变量X的数学期望(或称均值）记作$E(x)$，它描述了随机变量的取值中心，随机变量$(X-E(X){)}^2$的数学期望称为$X$的方差，记作${\sigma }^2$，而$\sigma$称为$X$的均方差（标准差）。它描述了随机变量与均值的偏差的疏密程度。

• 若$X$是连续型随机变量，其分布密度为$p(x)$，则当积分绝对收敛的时候

$$\begin{gathered} m=E(X)={\int }_{-\infty }^{\infty }xp(x)dx \\ {\sigma }^2=E\{(X-m{)}^2\}={\int }_{-\infty }^{\infty }(x-m{)}^{2}p(x)dx \end{gathered}$$

• 若$X$是离散型随机变量，其可能取值为$x_k,k=1,2,...,$且$P(X=x_k)=p_k$，则（当级数是绝对收敛时）
  $$\begin{gathered} m=E(X)=\sum _{k=1}^{\infty }{x}_k{p}_k \\ D(X)=\sum _{k=1}^{\infty }(x_k-m{)}^2{p}_k \end{gathered}$$

协方差矩阵

协方差矩阵说明随机向量$X$的各分量的分散情况，定义为：
$$\begin{array}{rl}c& =E\{(X-m)(X-m{)}^T\}\\ & =E\left\{\left[\begin{array}{c}(X_1-m_1)\\ ⋮\\ (X_1-m_1)\end{array}\right]\left[\begin{array}{c}(X_1-m_1)\cdots (X_n-m_n)\end{array}\right]\right\}\\ & =\left[\begin{array}{c}E[(X_1-m_1)(X_1-m_1)]\cdots E[(X_1-m_1)(X_n-m_n)]\\ ⋮\ddots ⋮\\ E[(X_n-m_n)(X_1-m_1)]\cdots E[(X_n-m_n)(X_n-m_n)]\end{array}\right]\\ & =\left(\begin{array}{c}{\lambda }_{11}\cdots {\lambda }_{1n}\\ ⋮\ddots ⋮\\ {\lambda }_{n1}\cdots {\lambda }_{nn}\end{array}\right)\end{array}$$
其中，协方差矩阵的各分量为：
$${\lambda }_{ij}=E[(X_i-m_i)(X_j-m_j)]$$
若$i\ne j$，则${\lambda }_{ij}$是$X$的第$i$个分量与第$j$个分量的协方差；
若$i=j$，则${\lambda }_{ij}$是随机变量$X_i$的方差，即协方差矩阵的对角分量；

一维正态密度函数

一维随机变量$X$的正态密度函数表示为：
$$p(x)=\frac{1}{\sqrt{2\pi }\sigma }exp\left[-\frac{(x-m{)}^2}{2{\sigma }^2}\right]$$
其中均值$m=E(X)={\int }_{-\infty }^{\infty }xp(x)dx$；方差${\sigma }^2=E\{(X-m{)}^2\}={\int }_{-\infty }^{\infty }(x-m{)}^{2}p(x)dx$，$\sigma$为标准差。
在$m$左右各为$k\sigma$的范围内，概率为：
p { m − k σ ≤ x ≤ m + k σ } = ∫ m − k σ m + k σ 1 2 π σ e x p [ − 1 2 ( x − m σ ) 2 ] d x = 1 2 π ∫ − k k e x p [ − y 2 2 ] d y \begin{aligned} p\{m-k\sigma\leq x\leq m+k\sigma\} &= \int_{m-k\sigma}^{m+k\sigma}\frac{1}{\sqrt{2\pi}\sigma}exp\left[-\frac{1}{2}\left(\frac{x-m}{\sigma}\right)^2\right]dx \\ &= \frac{1}{\sqrt{2\pi}}\int_{-k}^k exp\left[-\frac{y^2}{2}\right]dy \end{aligned} p{m−kσ≤x≤m+kσ}​=∫m−kσm+kσ​2π ​σ1​exp[−21​(σx−m​)2]dx=2π ​1​∫−kk​exp[−2y2​]dy​
其中，$y=(x-m)/\sigma$，此时$p$与$k$的关系：
p { m − k σ ≤ x ≤ m + k σ } = { 0.683 k = 1 0.954 k = 2 0.997 k = 3 p\{m-k\sigma \leq x \leq m + k\sigma\}= \begin{cases} 0.683 & k = 1 \\ 0.954 & k = 2 \\ 0.997 & k = 3 \end{cases} p{m−kσ≤x≤m+kσ}=⎩ ⎨ ⎧​0.6830.9540.997​k=1k=2k=3​
因此，在区间$|x-m|\le 3\sigma$内，差不多包含了全部由正态样本取样的子样本。
正态密度函数可完全由均值和方差所决定，因此可以由下式表示：
$p(x)\sim N(m,{\sigma }^2)$

多维正态密度函数

$n$维随机向量的正态密度函数表示为：
$$p(x)=\frac{1}{(\sqrt{2\pi }{)}^{\frac{n}{2}}|C{|}^{\frac{1}{2}}}exp\left\{-\frac{1}{2}(x-m{)}^T{C}^{-1}(x-m)\right\}$$
其中
$$x=\left[\begin{array}{c}{x}_1\\ ⋮\\ x_n\end{array}\right],m=\left[\begin{array}{c}{m}_1\\ ⋮\\ m_n\end{array}\right],C=\left[\begin{array}{ccc}{\sigma }_{11}^2& \cdots & {\sigma }_{1n}^2\\ ⋮& \ddots & ⋮\\ {\sigma }_{n1}^2& \cdots & {\sigma }_{nn}^2\end{array}\right]$$
$|C|$为协方差矩阵$C$的行列式。
多维正态密度函数由其均值$m$和协方差矩阵$C$确定，因此可用下式表示：
$$p(x)\sim N(m,C)$$