联合分布，条件分布与一些定理

联合分布 $p(x,y)$

联合分布 $p(x,y)$ 表示随机变量 $X$ 和 $Y$ 同时取某些特定值的概率。例如，如果我们有一个冰淇淋店的销售数据，联合分布 $p(x,y)$ 可以表示某一天的温度为 $x$ 摄氏度且销售额为 $y$ 元的概率。

条件分布 $p(x|y)$

条件分布 $p(x|y)$ 表示在随机变量 $Y$ 取已知值 $y$ 时，随机变量 $X$ 的概率分布。换句话说，它告诉我们在已知 $Y=y$ 的情况下，$X$ 的分布情况。所以在表达式 $p(x|y)$ 中，虽然 $x$ , $y$ 都是小写，但是 $y$ 是确定的，表达 $Y=y$ ，而 $x$ 并不是确定的，是一个分布。这个分布就是 $p(x|y)$ 。例如，冰淇淋店在销售额为 $Y=y$ 时温度 $X$ 的分布情况。
另一种理解：$X|Y$ 表示 $X$ 这个随机变量和 $Y$ 之间的关系，或者说 $X$ 是怎么由 $Y$ 得到或表示的。而 $p(x|y)$ 则表示如何由 $Y=y$ （Y确定）得到 $X$ 的分布 $p(x)$ 。例如，若 $X=Y+ϵ$ ，其中 $ϵ$ 是标准正态分布，则 $X|Y=Y+ϵ$，$p(x|y)\sim N(x|y,1)$ 。

• 等式两边同时加一个相同的条件，等式仍成立。如：

  • Bayes定理：
    $$q(x_t|x_{t-1})=\frac{q(x_{t-1}|x_t)q(x_t)}{q(x_{t-1})}$$
    在两边同时添加条件$x_0$，得到：
    $$q(x_t|x_{t-1},x_0)=\frac{q(x_{t-1}|x_t,x_0)q(x_t|x_0)}{q(x_{t-1}|x_0)}$$
  • 链式法则：
    $$p(x,y)=p(x|y)p(y)$$
    在两边同时添加条件$z$，得到：
    $$p(x,y|z)=p(x|y,z)p(y|z)$$

  也就是说，条件概率的链式法则和贝叶斯公式在加入额外条件时仍然适用。

联合分布和条件分布的关系

根据概率的乘法规则，联合分布 $p(x,y)$ 可以表示为条件分布 $p(x|y)$ 和边际分布 $p(y)$ 的乘积：

$$p(x,y)=p(x|y)\cdot p(y)$$

这表示在已知 $Y$ 的情况下，计算 $X$ 的概率分布，再乘以 $Y$ 的边际概率，就可以得到 $X$ 和 $Y$ 同时发生的概率。

• 边际化方法求概率分布：
  如果我们想从联合分布 $p(x,y)$ 中得到 $x$ 的边际分布，我们需要对 $y$ 进行积分：

  $$p(x)=\int p(x,y)dy$$

  这个过程称为边际化，通过对 $y$ 进行积分，我们消除了 $y$ 的影响，从而得到 $x$ 的边际概率分布 $p(x)$。例如，在冰淇淋店的例子中，边际分布 $p(x)$ 等于在所有可能的销售额情况下，温度的概率分布情况。

概率的链式法则

概率的链式法则是一种计算多个事件联合概率的方法。它基于概率的基本乘法规则。对于任意事件 $A_1,A_2,\dots ,A_n$，联合概率可以表示为：

$$p(A_1,A_2,\dots ,A_n)=p(A_1)p(A_2|A_1)p(A_3|A_1,A_2)\cdots p(A_n|A_1,A_2,\dots ,A_{n-1})$$

这个公式从第一个事件的边缘概率开始，之后每一项都是在前面所有事件发生的条件下，下一个事件发生的条件概率。

独立性

如果两个随机变量 $X$ 和 $Y$ 是独立的，这意味着 $X$ 的取值不受 $Y$ 的影响，反之亦然。在这种情况下，条件分布 $p(x|y)$ 等于边际分布 $p(x)$：

$$p(x|y)=p(x)$$

因为 $X$ 和 $Y$ 是独立的，$Y$ 的取值不会影响 $X$ 的分布。因此，联合分布 $p(x,y)$ 可以表示为两个边际分布的乘积：

$$p(x,y)=p(x)\cdot p(y)$$

马尔可夫链介绍

• 马尔可夫链（Markov Chain）是一种数学模型，用来描述一个系统从一个状态转移到另一个状态的过程。其主要特点是：在给定当前状态的条件下，未来状态的分布仅依赖于当前状态，而与之前的状态无关。这种性质称为“马尔可夫性”或“无记忆性”。

• 马尔可夫链的定义和条件
  马尔可夫链可以定义为一个离散时间随机过程 { X t } t ≥ 0 \{X_t\}_{t \geq 0} {Xt​}t≥0​，满足以下条件：

  • 状态空间：表示系统可能处于的所有状态的集合，记作 $S$。
  • 转移概率分布：从状态 $i$ 转移到状态 $j$ 的概率分布，记作 $p(x_{t+1}\mid x_t)$。

  马尔可夫链的条件转移概率定义如下：

  $$p(x_{t+1}\mid x_t,x_{t-1},\dots ,x_0)=p(x_{t+1}\mid x_t)$$
  这说明，在给定当前状态 $x_t$ 的条件下，未来状态 $x_{t+1}$ 的分布仅依赖于当前状态 $x_t$，而与之前的状态无关。注意，马尔可夫链只有前向过程满足这个性质，后向过程不一定满足。

• 马尔可夫链的应用示例
  对于马尔可夫链，我们可以通过条件概率的链式法则（chain rule）来求解联合概率分布 $p(x_{0:T})$。具体来说，对于时序数据 $x_{0:T}$，可以表示为：
  $$p(x_{0:T})=p(x_0)\prod _{t=1}^{T}p(x_t\mid x_{t-1})$$
  这个公式表示的是一个递推形式，其中 $p(x_{0:T})$ 表示从时间点 0 到 T 的联合概率分布。通过条件概率的链式法则，我们可以将联合概率分布写成一系列条件概率的乘积。证明如下：

  • 对于时序数据 $x_{0:T}$，我们可以使用链式法则：

    $$p(x_{0:T})=p(x_0)p(x_1\mid x_0)p(x_2\mid x_1,x_0)\cdots p(x_T\mid x_{T-1},x_{T-2},\cdots ,x_0)$$

  • 马尔可夫性假设：
    通常在时序模型中，我们会假设数据满足马尔可夫性，即当前状态仅依赖于前一个状态，而与更早的状态无关。这种情况下，有：

    $$p(x_t\mid x_{t-1},x_{t-2},\cdots ,x_0)=p(x_t\mid x_{t-1})$$
    因此，上面的公式可以简化为：
    $$p(x_{0:T})=p(x_0)\prod _{t=1}^{T}p(x_t\mid x_{t-1})$$

    这个公式成立的条件是系统满足马尔可夫性，即每个时间点的状态只依赖于前一个时间点的状态，而不是要求所有 $x_t$ 都独立。