文章目录
1. 不可分解分布(Indecomposable distribution)
1.1 定义
在概率论中,不可分解分布(indecomposable distribution)是不能表示为两个或多个非常数独立随机变量(non-constant independent random variables)之和的分布的概率分布: Z ≠ X + Y Z\neq X+Y Z=X+Y。如果可以这样表示,则它是可分解的(decomposable): Z = X + Y Z = X + Y Z=X+Y。进一步,如果它可以表示为两个或多个独立同分布的随机变量之和的分布,则它是可分的(divisible): Z = X 1 + X 2 Z = X_{1} + X_{2} Z=X1+X2。
1.2 例子
1.2.1 不可分解(Indecomposable)
- 最简单的例子是伯努利分布(Bernoulli-distributions):如果
X = { 1 with probability p , 0 with probability 1 − p X={\begin{cases}1&{\text{with probability }}p,\\0&{\text{with probability }}1-p\end{cases}} X={10with probability p,with probability 1−p
那么 X X X 的概率分布是不可分解的。
证明:给定非常数分布 U U U 和 V V V,因此 $U4 假设至少两个值 a a a、 b b b 和 V V V 假设两个值 c c c、 d d d,其中 a < b a < b a<b 且 c < d c < d c<d,则 U + V U + V U+V 假设至少三个不同的值: a + c a + c a+c, a + d a + d a+d, b + d b + d b+d( b + c b + c b+c 可能等于 a + d a + d a+d,例如,如果使用 0 0 0, 1 1 1 和 0 0 0, 1 1 1)。因此,非常数分布之和至少假定三个值,因此伯努利分布不是非常数分布之和。
- 假设 a + b + c = 1 a + b + c = 1 a+b+c=1, a , b , c ≥ 0 a, b, c \geq 0 a,b,c≥0,并且:
X = { 2 with probability a , 1 with probability b , 0 with probability c . X={\begin{cases}2&{\text{with probability }}a,\\1&{\text{with probability }}b,\\0&{\text{with probability }}c.\end{cases}} X=⎩ ⎨ ⎧210with probability a,with probability b,with probability c.
此概率分布是可分解的(作为两个伯努利分布随机变量之和的分布)如果:
a + c ≤ 1 {\sqrt {a}}+{\sqrt {c}}\leq 1\ a+c≤1
否则无法分解。为此,假设 U U U 和 V V V 是独立的随机变量,并且 U + V U + V U+V 具有此概率分布。那么我们必须有
U = { 1 with probability p , 0 with probability 1 − p , and V = { 1 with probability q , 0 with probability 1 − q , U={\begin{cases}1&{\text{with probability }}p,\\0&{\text{with probability }}1-p,\end{cases}}\ \ \text{and}\ \ V={\begin{cases}1&{\text{with probability }}q,\\0&{\text{with probability }}1-q,\end{cases}} U={10with probability p,with probability 1−p, and V={10with probability q,with probability 1−q,
对于某些 p , q ∈ [ 0 , 1 ] p, q \in [0, 1] p,q∈[0,1],通过与 Bernoulli 情况类似的推理(否则 U + V U + V U+V 之和将假设三个以上的值)。它遵循:
a = p q , c = ( 1 − p ) ( 1 − q ) , b = 1 − a − c . a=pq,\\ c=(1-p)(1-q),\,\\ b=1-a-c.\, a=pq,c=(1−p)(1−q),b=1−a−c.
两个变量 p p p 和 q q q 的两个二次方程组有解 ( p , q ) ∈ [ 0 , 1 ] 2 (p, q)\in [0, 1]^{2} (p,q)∈[0,1]2,当且仅当:
a + c ≤ 1 {\sqrt {a}}+{\sqrt {c}}\leq 1 a+c≤1
因此,例如,集合 0 , 1 , 2 {0, 1, 2} 0,1,2 上的离散均匀分布是不可分解的,但两次试验的二项式分布均具有 1 / 2 1/2 1/2 的概率,因此分别给出概率 a a a、 b b b、 c c c 为 1 / 4 1/4 1/4, 1 / 2 1/2 1/2, 1 / 4 1/4 1/4,是可分解的。
- 绝对连续的不可分解分布。可以证明密度函数为:
f ( x ) = 1 2 π x 2 e − x 2 / 2 f(x)={1 \over {\sqrt {2\pi \,}}}x^{2}e^{{-x^{2}/2}} f(x)=2π1x2e−x2/2
是不可分解的。
1.2.2 可分解
- 所有无限可分的分布肯定都是可分解的;特别是,这包括稳定分布(stable distribution),例如正态分布。
- 区间 [ 0 , 1 ] [0, 1] [0,1] 上的均匀分布是可分解的,因为它是假设为 0 或 1/2 且概率相等的伯努利变量与 [ 0 , 1 / 2 ] [0, 1/2] [0,1/2] 上的均匀分布的总和。迭代它,产生无限分解:
∑ n = 1 ∞ X n 2 n \sum _{{n=1}}^{\infty }{X_{n} \over 2^{n}} n=1∑∞2nXn
其中独立随机变量 X n X_{n} Xn 均以相同的概率等于 0 或 1——这是对二进制展开的每个数字的伯努利试验。
- 不可分解的随机变量之和可分解为原始的被加数(original summands)。但它可能会被证明是无限可分的。假设随机变量 Y Y Y 服从几何分布:
Pr ( Y = n ) = ( 1 − p ) n p {\displaystyle \Pr(Y=n)=(1-p)^{n}p\,} Pr(Y=n)=(1−p)np
在 0 , 1 , 2 , ⋯ {0, 1, 2, \cdots} 0,1,2,⋯ 上。
对于任何正整数 k k k,存在一系列负二项式分布(negative-binomially distributed)的随机变量 Y j , j = 1 , ⋯ , k Y_{j},j = 1,\cdots ,k Yj,j=1,⋯,k,使得 Y 1 + ⋯ + Y k Y_{1} +\cdots+ Y_{k} Y1+⋯+Yk 具有此几何分布。因此,这分布是无限可分的。
另一方面,设 D n D_{n} Dn 是 Y Y Y 的第 n n n 个二进制数字,因为 n ≥ 0 n\geq 0 n≥0。那么 D n D_{n} Dn 是独立的,并且:
Y = ∑ n = 1 ∞ 2 n D n , {\displaystyle Y=\sum _{n=1}^{\infty }2^{n}D_{n},} Y=n=1∑∞2nDn,
这个总和中的每一项都是不可分解的。
1.3 相关概念
不可分解性的另一个极端是无限可分性(infinite divisibility)。
- Cramér theorem 表明,虽然正态分布是无限可分的,但它只能分解为正态分布。
- Cochran theorem 表明,将正态随机变量的平方和分解为这些变量的线性组合的平方和的项始终具有独立的卡方分布。
2. 无限可分性(Infinite divisibility)
2.1 定义
在概率论中,如果可以将概率分布表示为任意数量的独立同分布(independent and identically distributed,简写为 i.i.d.)随机变量之和的概率分布,则该概率分布是无限可分的。任何无限可分分布的特征函数都称为无限可分特征函数(infinitely divisible characteristic function)。更严格地说,如果对于每个正整数 n n n,都存在 n n n 个随机变量 X n 1 , ⋯ , X n n X_{n1},\cdots,X_{nn} Xn1,⋯,Xnn(为 i.i.d.),它们的总和 S n = X n 1 + ⋯ + X n n S_{n}=X_{n1}+\cdots+X_{nn} Sn=Xn1+⋯+Xnn 具有相同的分布 F F F,则概率分布 F F F 是无限可分的。
概率分布的无限可分性的概念是由 Bruno de Finetti 于 1929 年提出的。这种类型的分布分解用于概率和统计中,以找到可能是某些模型或应用程序的自然选择的概率分布族。在极限定理的背景下,无限可分分布在概率论中发挥着重要作用。
2.2 例子
无限可分的连续分布的例子有正态分布、Cauchy 分布、Lévy 分布和稳定分布族(stable distribution family)的所有其他成员,以及 Gamma 分布、卡方分布、Wald 分布、Log-normal distribution 和 Student’s t-distribution。
在离散分布中,例子有泊松分布和负二项分布(negative binomial distribution)(因此还有几何分布(geometric distribution))。唯一可能的结果为 0 的单点分布(one-point distribution)也是(平凡地(trivially))无限可分的。
均匀分布和二项分布不是无限可分的,除上述单点分布外,其他任何具有有界支持(≈ 有限大小域)的分布也不是。具有 Student’s t-distribution 的随机变量的倒数分布也不是无限可分的。
任何复合泊松分布都是无限可分的;这直接来自定义。
2.3 极限定理(Limit theorem)
无限可分分布出现在中心极限定理的广义推广中:在三角形阵列中,当 n → + ∞ n\rightarrow +\infty n→+∞时,独立一致渐近可忽略(independent uniformly asymptotically negligible,u.a.n.)随机变量的总和 S n = X n 1 + ⋯ + X n n S_{n} = X_{n1} +\cdots+ X_{nn} Sn=Xn1+⋯+Xnn 的极限为:
X 11 X 21 X 22 X 31 X 32 X 33 ⋮ ⋮ ⋮ ⋱ \begin{array}{cccc} X_{11} \\ X_{21} & X_{22} \\ X_{31} & X_{32} & X_{33} \\ \vdots & \vdots & \vdots & \ddots \end{array} X11X21X31⋮X22X32⋮X33⋮⋱
接近——在弱意义上(weak sense)——一个无限可分的分布。一致渐近可忽略(uniformly asymptotically negligible,u.a.n.)条件由下式给出:
lim n → ∞ max 1 ≤ k ≤ n P ( ∣ X n k ∣ > ε ) = 0 , for every ε > 0. \lim_{n\to\infty} \, \max_{1 \le k \le n} \; P( \left| X_{nk} \right| > \varepsilon ) = 0,\ \text{ for every }\varepsilon > 0. n→∞lim1≤k≤nmaxP(∣Xnk∣>ε)=0, for every ε>0.
因此,例如,如果通过对具有有限方差的同分布随机变量进行适当缩放,来满足一致渐近可忽略性(u.a.n.)条件,则弱收敛是中心极限定理经典版本中的正态分布。更一般地说,如果 u.a.n. 通过缩放同分布的随机变量(不一定是有限的二阶矩)满足条件,则弱收敛到稳定分布。另一方面,对于独立(未缩放)伯努利随机变量的三角数组,其中 u.a.n. 通过满足下述条件满足:
lim n → ∞ n p n = λ \lim_{n\rightarrow\infty} np_n = \lambda n→∞limnpn=λ
如熟悉的小数定律(law of small numbers)证明所示,总和的弱收敛是均值为 λ \lambda λ 的泊松分布。
2.4 Lévy process
每个无限可分的概率分布都自然地对应于 Lévy 过程。Lévy 过程是一个具有平稳独立增量的随机过程 { L t : t ≥ 0 } \{ L_{t}:t\geq 0\} {Lt:t≥0},其中平稳意味着对于 s < t s < t s<t, L t − L s L_{t} − L_{s} Lt−Ls 的概率分布仅取决于 t − s t − s t−s 并且独立增量意味着差异 L t − L s L_{t} − L_{s} Lt−Ls 独立于任何不与 [ s , t ] [s, t] [s,t] 重叠的区间上的相应差值,对于任何有限数量的相互不重叠的区间也是如此。
如果 { L t : t ≥ 0 } \{ L_{t} : t\geq 0 \} {Lt:t≥0} 是一个 Lévy 过程,那么对于任何 t ≥ 0 t\geq 0 t≥0,随机变量 L t L_{t} Lt 将是无限可分的:对于任何 n n n,我们可以选择 ( X n 1 , X n 2 , ⋯ , X n n ) = ( L t / n − L 0 , L 2 t / n − L t / n , ⋯ , L t − L ( n − 1 ) t / n ) (X_{n1}, X_{n2}, \cdots, X_{nn}) = (L_{t/n} − L_{0}, L_{2t/n} − L_{t/n},\cdots, L_{t} − L_{(n−1)t/n}) (Xn1,Xn2,⋯,Xnn)=(Lt/n−L0,L2t/n−Lt/n,⋯,Lt−L(n−1)t/n)。类似地,对于任何 s < t s < t s<t, L t − L s L_{t} − L_{s} Lt−Ls 是无限可分的。
另一方面,如果 F F F 是无限可分分布,我们可以从中构造一个 Lévy 过程 { L t : t ≥ 0 } \{ L_{t} : t \geq0 \} {Lt:t≥0}。对于任何区间 [ s , t ] [s, t] [s,t],其中 t − s > 0 t − s > 0 t−s>0 等于有理数 p / q p/q p/q,我们可以定义 L t − L s L_{t} − L_{s} Lt−Ls 具有与 X q 1 + X q 2 + ⋯ + X q p X_{q1} + X_{q2} +\cdots + X_{qp} Xq1+Xq2+⋯+Xqp 相同的分布。 t − s > 0 t − s > 0 t−s>0 的无理值通过连续性参数处理。
2.5 加法过程(Additive process)
一个加法过程 { X t } t ≥ 0 \{X_{t}\}_{t\geq 0} {Xt}t≥0(一个 cadlag,连续的概率随机过程,具有独立的增量)对于任何 t ≥ 0 t\geq 0 t≥0 的情况都有一个无限可分的分布。令 { μ t } t ≥ 0 \{\mu _{t}\}_{t\geq 0} {μt}t≥0 是它的无限可分分布族。
{ μ t } t ≥ 0 \{\mu _{t}\}_{t\geq 0} {μt}t≥0 满足一系列连续性和单调性条件。此外,如果一族无限可分的分布 { μ t } t ≥ 0 \{\mu _{t}\}_{t\geq 0} {μt}t≥0 满足这些连续性和单调性条件,存在(理论上唯一)一个具有这个分布的加法过程 { μ t } t ≥ 0 \{\mu _{t}\}_{t\geq 0} {μt}t≥0。
- 参考文献