随机过程知识总结

随机变量

随机变量$\mathbf{x}$是对每个结果$\xi$制定⼀个数$\mathbf{x}(\xi )$的过程。随机变量量本质上是个函数。从数映射到事件的函数。

我们可以从量纲来思考一个量的物理意义，但是$\mathbf{x}$没有量纲，$\mathbf{x}$的取值与事件之间的映射关系也可能是不确定的。

$\mathbf{x}$属于一个事件空间，该空间包含了所有可能事件，该空间可以是连续的也可以是离散的。

分布函数（cumulative distribution function）

F x ( x ) = P { x ≤ x } F_{x}(x)=P\{\mathbf{x} \leq x\} Fx​(x)=P{ x≤x}

• 函数 $F(x)$ 是右连续的，即 $F\left(x^{+}\right)=F(x)$

  • P { x 1 < x ≤ x 2 } = F ( x 2 ) − F ( x 1 ) P\left\{x_{1}<\mathrm{x} \leq x_{2}\right\}=F\left(x_{2}\right)-F\left(x_{1}\right) P{ x1​<x≤x2​}=F(x2​)−F(x1​)

  • P { x 1 ≤ x ≤ x 2 } = F ( x 2 ) − F ( x 1 − ) P\left\{x_{1} \leq \mathrm{x} \leq x_{2}\right\}=F\left(x_{2}\right)-F\left(x_{1}^{-}\right) P{ x1​≤x≤x2​}=F(x2​)−F(x1−​)

  • P { x = x } = F ( x ) − F ( x − ) P\{\mathrm{x}=x\}=F(x)-F\left(x^{-}\right) P{ x=x}=F(x)−F(x−)

分位点（percentile）

一个随机变量$\mathbf{x}$的分位点是满足 u = P { x ≤ x u } = F ( x u ) u=P\left\{\mathbf{x} \leq x_{u}\right\}=F\left(x_{u}\right) u=P{ x≤xu​}=F(xu​)的最小实数$x_u$

概率密度函数（probability density function，p.d.f）

$$f_x(x)=\frac{\mathrm{d}{F}_x(x)}{\mathrm{d}x}$$

概率质量函数（probability mass function，p.m.f）

是离散随机变量在各特定取值上的概率。

• 概率质量函数和概率密度函数不同之处：

  • 概率质量函数是对离散随机变量定义的，本身代表该值的概率；

  • 概率密度函数是对连续随机变量定义的，本身不是概率，只有对连续随机变量的概率密度函数在某区间内进行积分后才是概率。

常用的随机变量量

连续型随机变量量

• 均匀分布
  $$f(x)=\{\begin{array}{cc}\frac{1}{b-a}& \text{ for }a\le x\le b\\ 0& \text{ elsewhere }\end{array}$$
  在误差分析时经常遇到均匀分布，如数字信号中的量化噪声。由于 A/D 转换器的字长有限，模拟信号通过A/D转换时，势必要舍弃部分信息。丢失信息后相当于使信号附加了一部分噪声，称为量化噪声。量化噪声分为截尾噪声和舍入噪声，它们都是均匀分布的，且方差相同，不同的是分布的区间。

• 正态分布

  高斯白噪声，有多重要就不多说了。
  $$f(x)=\frac{1}{\sigma \sqrt{2\pi }}{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$$
  在实际应用中，许多独立噪声之和若满足中心极限定理中某一定理的条件，就认为是高斯分布的。一般情况下，不同分布律的随机变量之和趋向高斯分布的速度是不同的 。在工程上，如果不是某个或某些随机变量对和的贡献很大，7~10 个随机变量之和的分布就认为是高斯分布的。

• 卡方分布

  

$$f_k(x)=\frac{1}{2^{\frac{k}{2}}\Gamma \left(\frac{k}{2}\right)}{x}^{\frac{k}{2}-1}{e}^{\frac{-x}{2}}$$

如果为正整数，则：
$$\Gamma (n)=(n-1)!$$
对于实数部分为正的复数，伽玛函数定义为：
$$\Gamma (z)={\int }_0^{\infty }{t}^{z-1}{\mathrm{e}}^{-t}\mathrm{d}\mathrm{t}$$

在信号的传输过程中，信号一般是窄带形式，这样不可避免要用到包络检波 。在小信号检波时，通常采用平方律检波，因此检波器输出是信号与噪声包络的平方 。 有时为了使信号检测的错误概率更小，还要对检波器的输出信号进行积累。

如果随机变量 $X$ 是高斯分布，那么平方律检波器的输出 $X^2$ 是${\mathcal{X}}^2$分布。若 $X_i$ 的数学期望为零，则 $Y$ 为中心${\mathcal{X}}^2$分布；若 $X_i$ 的数学期望不为零，则 $Y$ 为非中心${\mathcal{X}}^2$分布。

对检波器的输出信号进行采样后积累的信号$Y={\sum }_{i=1}^n{X}_i^2$是$n$自由度的${\mathcal{X}}^2$分布。

• 瑞利分布

  

$$f(x;\sigma )=\frac{x}{{\sigma }^2}{e}^{-x^2/2{\sigma }^2},x\ge 0$$

当一个随机二维向量的两个分量呈独立的、均值为0，有着相同的方差的正态分布时，这个向量的模呈瑞利分布。

瑞利分布是最常见的用于描述平坦衰落信号接收包络或独立多径分量接受包络统计时变特性的一种分布类型。两个正交高斯噪声信号之和的包络服从瑞利分布。

高斯、莱斯、瑞利，信号很强，瑞利；噪声很强，高斯。

• Nakagami-m分布

  用来对多径·无线·衰弱信道进行建模

离散型随机变量量

• 二项式分布
  $$f(k,n,p)=\mathrm{Pr}(X=k)=C_k^n{p}^k(1-p{)}^{n-k}$$
  在信号检测理论中，非参量检测时单次探测的秩值为某一值的概率服从二项式分布。

• 伯努利分布
  $$f_X(x)=p^x(1-p{)}^{1-x}=\{\begin{array}{ll}p& \text{ if }x=1\\ q& \text{ if }x=0\end{array}$$
  伯努利分布是二项分布在n = 1时的特殊情况。

• 泊松分布

  $$ P(X=k)=\frac{e^{-\lambda} \lambda^{k}}{k !} $$ 注：参数$λ$是单位时间（或单位面积）内随机事件的平均发生率。

  泊松分布适合于描述单位时间内随机事件发生的次数的概率分布。如某一服务设施在一定时间内受到的服务请求的次数，电话交换机接到呼叫的次数、汽车站台的候客人数、机器出现的故障数等。

随机过程和序列的统计特征

均值（mean，expected value，expectation）

E { x } = ∫ − ∞ ∞ x f ( x ) d x E\{\mathbf{x}\}=\int_{-\infty}^{\infty} x f(x) \mathrm{d} x E{ x}=∫−∞∞​xf(x)dx

E { x } = ∑ i p i x i , p i = P { x = x i } E\{\boldsymbol{x}\}=\sum_{i} p_{i} x_{i}, \quad p_{i}=P\left\{\boldsymbol{x}=x_{i}\right\} E{ x}=i∑​pi​xi​,pi​=P{ x=xi​}

方差（variance）

$${\sigma }^2=D[X]=E\left\{(\mathbf{x}-\eta {)}^2\right\}={\int }_{-\infty }^{\infty }{\left[x-m_X\right]}^2{f}_X(x)\mathrm{d}x$$

σ 2 = ∑ i p i ( x i − η ) 2 p i = P { x = x i } \sigma^{2}=\sum_{i} p_{i}\left(x_{i}-\eta\right)^{2} \quad p_{i}=P\left\{x=x_{i}\right\} σ2=i∑​pi​(xi​−η)2pi​=P{ x=xi​}

矩/动差（moment）

m n = E { x n } = ∫ − ∞ ∞ x n f ( x ) d x m_{n}=E\left\{\mathbf{x}^{n}\right\}=\int_{-\infty}^{\infty} x^{n} f(x) \mathrm{d} x mn​=E{ xn}=∫−∞∞​xnf(x)dx

$${\mu }_n=\sum _{i=1}^{\infty }{\left(x_i\right)}^n{P}_i,n=1,2,\cdots$$

中心矩（Central moments）

μ n = E { ( x − η ) n } = ∫ − ∞ ∞ ( x − η ) n f ( x ) d x \mu_{n}=E\left\{(\mathbf{x}-\eta)^{n}\right\}=\int_{-\infty}^{\infty}(x-\eta)^{n} f(x) \mathrm{d} x μn​=E{ (x−η)n}=∫−∞∞​(x−η)nf(x)dx

$${\mu }_n=\sum _{i=1}^{\infty }{\left(x_i-E[X]\right)}^n{P}_i,n=1,2,\cdots$$

• 第0阶中心矩 ${\mu }_0$ 恒为1。
• 第1阶中心矩 ${\mu }_1$ 恒为0。
• 第2阶中心矩 ${\mu }_2$ 为 $X$ 的方差 $\mathrm{Var}(X)$
• 第3阶中心矩 ${\mu }_3$ 用于定义 $X$ 的偏度。

偏度/歪度（Skewness），在概率论和统计学中衡量实数随机变量概率分布的不对称性。
$${\gamma }_1=\mathrm{E}\left[{\left(\frac{X-\mu }{\sigma }\right)}^3\right]=\frac{{\mu }_3}{{\sigma }^3}$$

偏态系数/偏差系数（deviation coefficient），说明随机系列分配不对称程度的统计参数。

变异系数/离散系数/变差系数（coefficient of variation），是概率分布离散程度的一个归一化量度，其定义为标准差$\sigma$与平均值$\mu$之比

• 第4阶中心矩 ${\mu }_4$ 用于定义 $X$ 的峰度。

峰度/尖度（Kurtosis），在统计学中衡量实数随机变量概率分布的峰态。峰度系数越大，分布就有更多的极端值，那么其余值必然要更加集中在众数周围，其分布必然就更加陡峭。

• 中心矩具有平移不变性。对于任意的随机变量 $X$ 和任意常数 $c,$ 恒有:${\mu }_n(X+c)={\mu }_n(X)$
• n阶中心矩是n次齐次函数。${\mu }_n(cX)=c^n{\mu }_n(X)$
• 只有当 n ∈ { 1 , 2 , 3 } , n \in\{1,2,3\}, n∈{ 1,2,3}, 且 $X$ 和 $Y$ 为两个互相独立的随机变量时，中心矩才具有加法性。 ${\mu }_n(X+Y)={\mu }_n(X)+{\mu }_n(Y)$

特征函数（eigenfunction）

$${\Phi }_x(\omega )=E\left\{e^{j\omega \mathbf{x}}\right\}={\int }_{-\infty }^{\infty }f(x)e^{j\omega x}\mathrm{d}x$$

• $\left|{\Phi }_x(\omega )\right|\le \Phi (0)=1$

• 若 $\mathbf{y}=a\mathbf{x}+b,$ 则 ${\Phi }_y(\omega )=e^{jb\omega }{\Phi }_x(a\omega )$

• $f(x)=\frac{1}{2\pi }{\int }_{-\infty }^{\infty }{\Phi }_x(\omega )e^{-j\omega x}\mathrm{d}x$

矩生成函数（moment generating function）

$$\mathbf{\Phi }(s)={\int }_{-\infty }^{\infty }f(x)e^{sx}\mathrm{d}x$$

矩定理