不可分解分布(Indecomposable distribution)与无限可分性(infinite divisibility)

文章介绍了概率论中的不可分解分布,即不能表示为两个非常数独立随机变量之和的分布,举例说明了伯努利分布的不可分解性质。同时,讨论了无限可分性,即可以表示为任意数量独立同分布随机变量之和的概率分布,如正态分布和泊松分布。无限可分性在中心极限定理和Lévy过程中有重要应用。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >


1. 不可分解分布(Indecomposable distribution)

1.1 定义

在概率论中,不可分解分布(indecomposable distribution)是不能表示为两个或多个非常数独立随机变量(non-constant independent random variables)之和的分布的概率分布: Z ≠ X + Y Z\neq X+Y Z=X+Y。如果可以这样表示,则它是可分解的(decomposable): Z = X + Y Z = X + Y Z=X+Y。进一步,如果它可以表示为两个或多个独立同分布的随机变量之和的分布,则它是可分的(divisible): Z = X 1 + X 2 Z = X_{1} + X_{2} Z=X1+X2

1.2 例子

1.2.1 不可分解(Indecomposable)

X = { 1 with probability  p , 0 with probability  1 − p X={\begin{cases}1&{\text{with probability }}p,\\0&{\text{with probability }}1-p\end{cases}} X={10with probability p,with probability 1p

那么 X X X 的概率分布是不可分解的。

证明:给定非常数分布 U U U V V V,因此 $U4 假设至少两个值 a a a b b b V V V 假设两个值 c c c d d d,其中 a < b a < b a<b c < d c < d c<d,则 U + V U + V U+V 假设至少三个不同的值: a + c a + c a+c a + d a + d a+d b + d b + d b+d b + c b + c b+c 可能等于 a + d a + d a+d,例如,如果使用 0 0 0 1 1 1 0 0 0 1 1 1)。因此,非常数分布之和至少假定三个值,因此伯努利分布不是非常数分布之和。

  • 假设 a + b + c = 1 a + b + c = 1 a+b+c=1 a , b , c ≥ 0 a, b, c \geq 0 a,b,c0,并且:

X = { 2 with probability  a , 1 with probability  b , 0 with probability  c . X={\begin{cases}2&{\text{with probability }}a,\\1&{\text{with probability }}b,\\0&{\text{with probability }}c.\end{cases}} X= 210with probability a,with probability b,with probability c.

此概率分布是可分解的(作为两个伯努利分布随机变量之和的分布)如果:

a + c ≤ 1   {\sqrt {a}}+{\sqrt {c}}\leq 1\ a +c 1 

否则无法分解。为此,假设 U U U V V V 是独立的随机变量,并且 U + V U + V U+V 具有此概率分布。那么我们必须有

U = { 1 with probability  p , 0 with probability  1 − p ,   and   V = { 1 with probability  q , 0 with probability  1 − q , U={\begin{cases}1&{\text{with probability }}p,\\0&{\text{with probability }}1-p,\end{cases}}\ \ \text{and}\ \ V={\begin{cases}1&{\text{with probability }}q,\\0&{\text{with probability }}1-q,\end{cases}} U={10with probability p,with probability 1p,  and  V={10with probability q,with probability 1q,

对于某些 p , q ∈ [ 0 , 1 ] p, q \in [0, 1] p,q[0,1],通过与 Bernoulli 情况类似的推理(否则 U + V U + V U+V 之和将假设三个以上的值)。它遵循:

a = p q , c = ( 1 − p ) ( 1 − q ) ,   b = 1 − a − c .   a=pq,\\ c=(1-p)(1-q),\,\\ b=1-a-c.\, a=pq,c=(1p)(1q),b=1ac.

两个变量 p p p q q q 的两个二次方程组有解 ( p , q ) ∈ [ 0 , 1 ] 2 (p, q)\in [0, 1]^{2} (p,q)[0,1]2,当且仅当:

a + c ≤ 1 {\sqrt {a}}+{\sqrt {c}}\leq 1 a +c 1

因此,例如,集合 0 , 1 , 2 {0, 1, 2} 0,1,2 上的离散均匀分布是不可分解的,但两次试验的二项式分布均具有 1 / 2 1/2 1/2 的概率,因此分别给出概率 a a a b b b c c c 1 / 4 1/4 1/4 1 / 2 1/2 1/2 1 / 4 1/4 1/4,是可分解的。

  • 绝对连续的不可分解分布。可以证明密度函数为:

f ( x ) = 1 2 π   x 2 e − x 2 / 2 f(x)={1 \over {\sqrt {2\pi \,}}}x^{2}e^{{-x^{2}/2}} f(x)=2π 1x2ex2/2

是不可分解的。

1.2.2 可分解

  • 所有无限可分的分布肯定都是可分解的;特别是,这包括稳定分布(stable distribution),例如正态分布。
  • 区间 [ 0 , 1 ] [0, 1] [0,1] 上的均匀分布是可分解的,因为它是假设为 0 或 1/2 且概率相等的伯努利变量与 [ 0 , 1 / 2 ] [0, 1/2] [0,1/2] 上的均匀分布的总和。迭代它,产生无限分解:

∑ n = 1 ∞ X n 2 n \sum _{{n=1}}^{\infty }{X_{n} \over 2^{n}} n=12nXn

其中独立随机变量 X n X_{n} Xn 均以相同的概率等于 0 或 1——这是对二进制展开的每个数字的伯努利试验。

  • 不可分解的随机变量之和可分解为原始的被加数(original summands)。但它可能会被证明是无限可分的。假设随机变量 Y Y Y 服从几何分布:

Pr ⁡ ( Y = n ) = ( 1 − p ) n p   {\displaystyle \Pr(Y=n)=(1-p)^{n}p\,} Pr(Y=n)=(1p)np

0 , 1 , 2 , ⋯ {0, 1, 2, \cdots} 0,1,2, 上。

对于任何正整数 k k k,存在一系列负二项式分布(negative-binomially distributed)的随机变量 Y j , j = 1 , ⋯   , k Y_{j},j = 1,\cdots ,k Yjj=1,,k,使得 Y 1 + ⋯ + Y k Y_{1} +\cdots+ Y_{k} Y1++Yk 具有此几何分布。因此,这分布是无限可分的。

另一方面,设 D n D_{n} Dn Y Y Y 的第 n n n 个二进制数字,因为 n ≥ 0 n\geq 0 n0。那么 D n D_{n} Dn 是独立的,并且:

Y = ∑ n = 1 ∞ 2 n D n , {\displaystyle Y=\sum _{n=1}^{\infty }2^{n}D_{n},} Y=n=12nDn,

这个总和中的每一项都是不可分解的。

1.3 相关概念

不可分解性的另一个极端是无限可分性(infinite divisibility)。

  • Cramér theorem 表明,虽然正态分布是无限可分的,但它只能分解为正态分布。
  • Cochran theorem 表明,将正态随机变量的平方和分解为这些变量的线性组合的平方和的项始终具有独立的卡方分布。

2. 无限可分性(Infinite divisibility)

2.1 定义

在概率论中,如果可以将概率分布表示为任意数量的独立同分布(independent and identically distributed,简写为 i.i.d.)随机变量之和的概率分布,则该概率分布是无限可分的。任何无限可分分布的特征函数都称为无限可分特征函数(infinitely divisible characteristic function)。更严格地说,如果对于每个正整数 n n n,都存在 n n n 个随机变量 X n 1 , ⋯   , X n n X_{n1},\cdots,X_{nn} Xn1,,Xnn(为 i.i.d.),它们的总和 S n = X n 1 + ⋯ + X n n S_{n}=X_{n1}+\cdots+X_{nn} Sn=Xn1++Xnn 具有相同的分布 F F F,则概率分布 F F F 是无限可分的。

概率分布的无限可分性的概念是由 Bruno de Finetti 于 1929 年提出的。这种类型的分布分解用于概率和统计中,以找到可能是某些模型或应用程序的自然选择的概率分布族。在极限定理的背景下,无限可分分布在概率论中发挥着重要作用。

2.2 例子

无限可分的连续分布的例子有正态分布、Cauchy 分布、Lévy 分布和稳定分布族(stable distribution family)的所有其他成员,以及 Gamma 分布卡方分布Wald 分布Log-normal distributionStudent’s t-distribution

在离散分布中,例子有泊松分布和负二项分布(negative binomial distribution)(因此还有几何分布(geometric distribution))。唯一可能的结果为 0 的单点分布(one-point distribution)也是(平凡地(trivially))无限可分的。

均匀分布和二项分布不是无限可分的,除上述单点分布外,其他任何具有有界支持(≈ 有限大小域)的分布也不是。具有 Student’s t-distribution 的随机变量的倒数分布也不是无限可分的。

任何复合泊松分布都是无限可分的;这直接来自定义。

2.3 极限定理(Limit theorem)

无限可分分布出现在中心极限定理的广义推广中:在三角形阵列中,当 n → + ∞ n\rightarrow +\infty n+时,独立一致渐近可忽略(independent uniformly asymptotically negligible,u.a.n.)随机变量的总和 S n = X n 1 + ⋯ + X n n S_{n} = X_{n1} +\cdots+ X_{nn} Sn=Xn1++Xnn 的极限为:

X 11 X 21 X 22 X 31 X 32 X 33 ⋮ ⋮ ⋮ ⋱ \begin{array}{cccc} X_{11} \\ X_{21} & X_{22} \\ X_{31} & X_{32} & X_{33} \\ \vdots & \vdots & \vdots & \ddots \end{array} X11X21X31X22X32X33

接近——在弱意义上(weak sense)——一个无限可分的分布。一致渐近可忽略(uniformly asymptotically negligible,u.a.n.)条件由下式给出:

lim ⁡ n → ∞   max ⁡ 1 ≤ k ≤ n    P ( ∣ X n k ∣ > ε ) = 0 ,   for every  ε > 0. \lim_{n\to\infty} \, \max_{1 \le k \le n} \; P( \left| X_{nk} \right| > \varepsilon ) = 0,\ \text{ for every }\varepsilon > 0. nlim1knmaxP(Xnk>ε)=0,  for every ε>0.

因此,例如,如果通过对具有有限方差的同分布随机变量进行适当缩放,来满足一致渐近可忽略性(u.a.n.)条件,则弱收敛是中心极限定理经典版本中的正态分布。更一般地说,如果 u.a.n. 通过缩放同分布的随机变量(不一定是有限的二阶矩)满足条件,则弱收敛到稳定分布。另一方面,对于独立(未缩放)伯努利随机变量的三角数组,其中 u.a.n. 通过满足下述条件满足:

lim ⁡ n → ∞ n p n = λ \lim_{n\rightarrow\infty} np_n = \lambda nlimnpn=λ

如熟悉的小数定律(law of small numbers)证明所示,总和的弱收敛是均值为 λ \lambda λ 的泊松分布。

2.4 Lévy process

每个无限可分的概率分布都自然地对应于 Lévy 过程。Lévy 过程是一个具有平稳独立增量的随机过程 { L t : t ≥ 0 } \{ L_{t}:t\geq 0\} {Lt:t0},其中平稳意味着对于 s < t s < t s<t L t − L s L_{t} − L_{s} LtLs 的概率分布仅取决于 t − s t − s ts 并且独立增量意味着差异 L t − L s L_{t} − L_{s} LtLs 独立于任何不与 [ s , t ] [s, t] [s,t] 重叠的区间上的相应差值,对于任何有限数量的相互不重叠的区间也是如此。

如果 { L t : t ≥ 0 } \{ L_{t} : t\geq 0 \} {Lt:t0} 是一个 Lévy 过程,那么对于任何 t ≥ 0 t\geq 0 t0,随机变量 L t L_{t} Lt 将是无限可分的:对于任何 n n n,我们可以选择 ( X n 1 , X n 2 , ⋯   , X n n ) = ( L t / n − L 0 , L 2 t / n − L t / n , ⋯   , L t − L ( n − 1 ) t / n ) (X_{n1}, X_{n2}, \cdots, X_{nn}) = (L_{t/n} − L_{0}, L_{2t/n} − L_{t/n},\cdots, L_{t} − L_{(n−1)t/n}) (Xn1,Xn2,,Xnn)=(Lt/nL0,L2t/nLt/n,,LtL(n1)t/n)。类似地,对于任何 s < t s < t s<t L t − L s L_{t} − L_{s} LtLs 是无限可分的。

另一方面,如果 F F F 是无限可分分布,我们可以从中构造一个 Lévy 过程 { L t : t ≥ 0 } \{ L_{t} : t \geq0 \} {Lt:t0}。对于任何区间 [ s , t ] [s, t] [s,t],其中 t − s > 0 t − s > 0 ts>0 等于有理数 p / q p/q p/q,我们可以定义 L t − L s L_{t} − L_{s} LtLs 具有与 X q 1 + X q 2 + ⋯ + X q p X_{q1} + X_{q2} +\cdots + X_{qp} Xq1+Xq2++Xqp 相同的分布。 t − s > 0 t − s > 0 ts>0 的无理值通过连续性参数处理。

2.5 加法过程(Additive process)

一个加法过程 { X t } t ≥ 0 \{X_{t}\}_{t\geq 0} {Xt}t0(一个 cadlag,连续的概率随机过程,具有独立的增量)对于任何 t ≥ 0 t\geq 0 t0 的情况都有一个无限可分的分布。令 { μ t } t ≥ 0 \{\mu _{t}\}_{t\geq 0} {μt}t0 是它的无限可分分布族。

{ μ t } t ≥ 0 \{\mu _{t}\}_{t\geq 0} {μt}t0 满足一系列连续性和单调性条件。此外,如果一族无限可分的分布 { μ t } t ≥ 0 \{\mu _{t}\}_{t\geq 0} {μt}t0 满足这些连续性和单调性条件,存在(理论上唯一)一个具有这个分布的加法过程 { μ t } t ≥ 0 \{\mu _{t}\}_{t\geq 0} {μt}t0


  • 参考文献

wiki: Indecomposable distribution

wiki: Infinite divisibility (probability)

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值