随机过程的平稳性 --如果随机过程的联合分布函数在任意时间平移后保持不变，这个过程就是严格平稳

最新推荐文章于 2024-10-03 17:11:04 发布

苏西月

最新推荐文章于 2024-10-03 17:11:04 发布

阅读量875

点赞数 9

分类专栏： dc4 文章标签：概率论机器学习人工智能

本文链接：https://blog.csdn.net/qq_51011530/article/details/142647225

版权

dc4 专栏收录该内容

16 篇文章 0 订阅

订阅专栏

在讨论随机过程的平稳性时，提到的“联合分布函数在任意时间平移后保持不变”指的是严格平稳（Strict-Sense Stationary, SSS随机过程的一个关键属性。我们可以通过以下步骤逐步解释这个概念。

1. 联合分布函数

首先，随机过程 $X (t)$ 在多个时间点 $t_1, t_2, \dots, t_n$ 的行为可以通过这些时间点对应的随机变量 $X(t_1), X(t_2), \dots, X(t_n)$ 的联合分布来描述。

例如，如果你有一个随机过程 $X (t)$ ，你可以在不同的时间点 $t_1$ 和 $t_2$ 观测它的值 $X(t_1)$ 和 $X(t_2)$ 。那么，这两个随机变量的联合分布函数可以描述它们在这些时间点上共同的概率行为。

联合分布函数可以表示为：
$F_{X(t_1), X(t_2)}(x_1, x_2) = P(X(t_1) \leq x_1, X(t_2) \leq x_2)$
它描述的是在时间点 $t_1$ 和 $t_2$ ，随机过程取值 $X(t_1) \leq x_1$ 和 $X(t_2) \leq x_2$ 的联合概率。

注意：
联合分布函数通常是通过概率累积分布来描述的，重点在于同时满足两个或多个随机变量的特定条件的概率。它与“卷积”没有直接关系，因为卷积主要用于处理两个独立随机变量的和的概率分布，而不是联合概率分布。

联合分布描述了多个随机变量同时发生时的概率，它反映的是随机变量在同一时刻或不同时间点的相关性。联合分布的计算不依赖于卷积，而是依赖于对联合概率的描述和计算。
卷积用于计算两个独立随机变量的和的分布。这在处理随机变量的加和时非常有用，特别是在信号处理、概率论中。当我们想要知道 $Z = X + Y$ 的概率密度时，卷积是一种常见的求解方法。

让我们通过一个具体的例子来计算两个随机变量的联合分布函数。假设我们有一个简单的随机过程 $X (t)$ ，并且我们只考虑两个时间点 $t_1$ 和 $t_2$ 的随机变量 $X(t_1)$ 和 $X(t_2)$ 。为了简化，我们假设 $X(t_1)$ 和 $X(t_2)$ 服从二维正态分布。

例子：二维正态分布

假设 $X(t_1)$ 和 $X(t_2)$ 是两个服从均值为 0 的二维正态分布的随机变量，其协方差矩阵为：
$\Sigma = \begin{pmatrix} \sigma_1^2 & \rho \sigma_1 \sigma_2 \\ \rho \sigma_1 \sigma_2 & \sigma_2^2 \end{pmatrix}$
其中：

$\sigma_1^2$ 是 $X(t_1)$ 的方差，
$\sigma_2^2$ 是 $X(t_2)$ 的方差，
$\rho$ 是 $X(t_1)$ 和 $X(t_2)$ 之间的相关系数。

二维正态分布的概率密度函数（PDF）为：
$p(x_1, x_2) = \frac{1}{2\pi \sigma_1 \sigma_2 \sqrt{1 - \rho^2}} \exp\left(-\frac{1}{2(1 - \rho^2)} \left[\frac{x_1^2}{\sigma_1^2} + \frac{x_2^2}{\sigma_2^2} - 2\rho \frac{x_1 x_2}{\sigma_1 \sigma_2}\right]\right)$

目标：计算联合分布函数 $F_{X(t_1), X(t_2)}(x_1, x_2)$

联合分布函数是两个随机变量 $X(t_1)$ 和 $X(t_2)$ 的累积分布函数（CDF），表示 $X(t_1)$ 和 $X(t_2)$ 同时取到某些值的概率。也就是说，联合分布函数计算的是 $P(X(t_1) \leq x_1, X(t_2) \leq x_2)$ 。

$F_{X(t_1), X(t_2)}(x_1, x_2) = P(X(t_1) \leq x_1, X(t_2) \leq x_2)$

假设参数：

我们设定以下参数来简化计算：

$\sigma_1 = 1, \sigma_2 = 1$ （标准正态分布），
$\rho = 0.5$ （相关系数为0.5），
$x_1 = 1$ ， $x_2 = 1$ 。

步骤 1：联合概率密度函数

利用上面的二维正态分布公式，先计算在 $x_1 = 1$ 和 $x_2 = 1$ 处的概率密度函数 $p (1, 1)$ ：
$\frac{1}{2\pi \cdot 1 \cdot 1 \sqrt{1 - 0.5^2}} \exp\left(-\frac{1}{2(1 - 0.5^2)} \left[ \frac{1^2}{1^2} + \frac{1^2}{1^2} - 2 \cdot 0.5 \cdot \frac{1 \cdot 1}{1 \cdot 1} \right]\right)$
简化后：
$\frac{1}{2\pi \cdot 0.866} \exp\left(-\frac{1}{2 \cdot 0.75} [1 + 1 - 1] \right) = \frac{1}{5.4414} \exp\left(-\frac{1}{1.5} \right)$
$\exp(-0.6667) \approx 0.183 \cdot 0.5134 \approx 0.094$

因此，在 $(1, 1)$ 处的概率密度为 $0.094$ 。

步骤 2：计算联合累积分布函数

为了得到联合累积分布函数 $F_{X(t_1), X(t_2)}(x_1, x_2)$ ，我们需要对联合概率密度函数进行积分，计算出 $P(X(t_1) \leq x_1, X(t_2) \leq x_2)$ 。

$F_{X(t_1), X(t_2)}(x_1, x_2) = \int_{-\infty}^{x_1} \int_{-\infty}^{x_2} p(u_1, u_2) du_1 du_2$

这个积分通常很难通过手动计算来完成，实际问题中往往需要借助数值方法或查表来求解。但我们已经通过计算得到了 $(1, 1)$ 处的概率密度函数值为 0.094，这个值用于帮助进一步计算联合分布函数的具体值。

总结：

这个例子展示了如何计算两个相关的正态随机变量 $X(t_1)$ 和 $X(t_2)$ 的联合概率密度函数（PDF）。随后，通过对 PDF 进行积分，我们可以得到联合累积分布函数（CDF），即 $P(X(t_1) \leq x_1, X(t_2) \leq x_2)$ 。

2. 时间平移后的不变性

对于一个严格平稳（SSS）的随机过程，它的统计特性（例如均值、方差、联合分布）在时间上的表现是不随时间变化的。

具体来说，任意两个时间点 $t_1$ 和 $t_2$ 之间的联合分布，如果经过相同的时间平移，分布依然保持不变，那么这个随机过程就是严格平稳的。也就是说，不管时间点如何改变，它们的联合分布只依赖于它们之间的时间差。

举个例子：

假设你有一个随机过程 $X (t)$ ，你观察了它在时间点 $t_1$ 和 $t_2$ 的联合分布。如果我们把这两个时间点同时向前或向后移动，比如移动到 $t_1 + \tau$ 和 $t_2 + \tau$ ，而这个过程的联合分布不发生改变，即：
$F_{X(t_1), X(t_2)}(x_1, x_2) = F_{X(t_1 + \tau), X(t_2 + \tau)}(x_1, x_2)$
这意味着，联合分布仅依赖于 $t_1$ 和 $t_2$ 之间的时间间隔，而与绝对的时间位置无关。

3. 严格平稳的含义

“在任意时间平移后保持不变”就是指这个随机过程的统计特性（例如均值、方差和联合分布）不依赖于具体的时间点，只依赖于相对的时间差。具体来说：

单变量分布不变：随机过程在任意时间点 $t$ 的单变量分布 $F_{X(t)}(x)$ 不随时间变化，即 $F_{X(t)}(x) = F_{X(t + \tau)}(x)$ 对于任意时间平移 $\tau$ 都成立。
联合分布不变：多个时间点的联合分布函数只取决于时间差，不依赖于绝对的时间位置。这就是所谓的“平移不变性”。

4. 例子：白噪声

白噪声是一个典型的严格平稳随机过程。假设白噪声在任意时刻的值是独立的、均值为0、方差为常数，那么无论你在什么时间段采样，它的统计特性都是不变的。这意味着它的联合分布不依赖于采样的绝对时间，只依赖于时间差。

5. 与宽平稳的区别

严格平稳要求所有统计特性（包括联合分布）在时间平移后都保持不变。而**宽平稳（WSS, Wide-Sense Stationary）**是较弱的一种平稳性要求，它只要求：

均值不随时间变化。
自相关函数（描述两个时间点之间的相关性）仅依赖于时间差，而不是具体的时间点。

你的疑问很关键，涉及到随机过程中多个时间点的联合分布与平稳性的关系。让我详细解释一下，并澄清随机过程中的联合分布和PDF（概率密度函数）的区别。

单个时间点的随机变量与 PDF

当我们在随机过程 $X (t)$ 中观察某个特定时间点 $t_1$ 时， $X(t_1)$ 就是一个随机变量，而这个随机变量有自己的概率密度函数（PDF），记作 $p_{X(t_1)}(x)$ ，它表示随机变量 $X(t_1)$ 在某个值 $x$ 处的概率密度。

所以，对于每个单独的时间点 $t_1$ ，我们可以得到相应的 PDF，描述该时间点上随机过程的取值情况。

多个时间点的联合分布

当你同时观察多个时间点（比如 $t_1$ 和 $t_2$ ）时， $X(t_1)$ 和 $X(t_2)$ 是两个随机变量，而这两个随机变量的行为可能是相关的，因此它们有一个联合分布。

联合分布函数 $F_{X(t_1), X(t_2)}(x_1, x_2)$ 描述了随机变量 $X(t_1)$ 和 $X(t_2)$ 在同时取值 $x_1$ 和 $x_2$ 的联合概率，即：
$F_{X(t_1), X(t_2)}(x_1, x_2) = P(X(t_1) \leq x_1, X(t_2) \leq x_2)$
这个联合分布函数描述了在时间点 $t_1$ ， $X(t_1)$ 小于或等于 $x_1$ ，且在时间点 $t_2$ ， $X(t_2)$ 小于或等于 $x_2$ 的联合概率。

严格平稳随机过程的含义

现在，考虑平稳性的问题。对于一个严格平稳（Strict-Sense Stationary, SSS）的随机过程，它的统计特性不随时间变化。这意味着，无论我们把时间点 $t_1$ 和 $t_2$ 向前或向后移动多少，联合分布函数的形式都不应该改变。

具体解释：

对于随机过程 $X (t)$ ，如果你观察了它在两个时间点 $t_1$ 和 $t_2$ 的联合分布 $F_{X(t_1), X(t_2)}(x_1, x_2)$ ，然后把这两个时间点都向前或向后移动（例如，移动到 $t_1 + \tau$ 和 $t_2 + \tau$ ），联合分布保持不变，即：
$F_{X(t_1), X(t_2)}(x_1, x_2) = F_{X(t_1 + \tau), X(t_2 + \tau)}(x_1, x_2)$
这意味着，随机过程的联合分布只依赖于两个时间点之间的差值 $t_2 - t_1$ ，而与这些时间点的绝对位置无关。

举个例子：

假设你有一个严格平稳的随机过程 $X (t)$ ，你观察它在两个时间点 $t_1 = 2$ 和 $t_2 = 4$ 的联合分布。如果这个过程是严格平稳的，那么你把时间点同时向后移动 $1$ 个单位，也就是变成 $t_1 = 3$ 和 $t_2 = 5$ ，那么这个新的联合分布与原来的联合分布是相同的。

因此，这个平移不变性的概念告诉我们，随机过程的统计特性不会随着时间的推进而变化，统计行为只取决于时间点之间的差值，而不是时间点本身。

平稳性与 PDF 的关系

你提到的“每个时间点对应一个 PDF”是对的。每个时间点 $t_1$ 确实对应一个随机变量 $X(t_1)$ ，这个随机变量有自己的 PDF $p_{X(t_1)}(x)$ 。但如果你同时考虑多个时间点（例如 $t_1$ 和 $t_2$ ），它们的联合概率行为不仅仅由单独的 PDF 决定，还需要通过联合分布来描述两个时间点之间的相关性。