随机变量与分布

作为概率论课程的复习，梳理几个重点的公式概念。

随机变量及其分布

定义3.1.1：随机变量

假设$\mathcal{F}$是$\Omega$上的$\sigma$代数，若$X:\Omega \to \mathbb{R}$满足 { X ≤ x } ∈ F \{X\le x\}\in \mathcal F {X≤x}∈F，对$\forall x$，则称$X$为一个随机变量。（ppt定义）

设$\xi (\omega )$是定义于概率空间$(\Omega ,\mathcal{F},P)$上的单值实函数，如果对于直线上任一Borel点集B，有
{ ω : ξ ( ω ) ∈ B } ∈ F \{\omega:\xi(\omega)\in B\}\in\mathcal F {ω:ξ(ω)∈B}∈F
则称$\xi (\omega )$为随机变量，而$P(\xi (\omega )\in B)$成为随机变量$\xi (\omega )$的概率分布。（课本定义）

课本上的定义针对一般的Borel集，而显然这两个命题是等价的，ppt的写得更简洁易懂，其中的过渡就在于$\sigma$代数$\mathcal{F}$的性质，使得形如$X\le x$的事件可以生成一个Borel集。这个定义的含义描述的是，随机变量是一个单值实函数，把样本空间的每个点都映到实数轴上。如果这个函数满足对每个实数对应的事件 { X ≤ x } \{X\le x\} {X≤x}，都是可测事件，那么这个函数就成为一个随机变量。

定理3.1.1：分布函数

由于课程不要求证明“分布函数（满足3条性质的函数）都是随机变量的分布函数”，且不区分“分布函数”和“随机变量的分布函数”，于是以下统一称为“分布函数”。

随机变量的分布函数：根据定义，用 { X ≤ x } \{X\le x\} {X≤x}代替概率分布中的要求，得到唯一确定随机变量的概率分布的一个函数。

在定义随机变量的时候，不需要给出权分配方案$P$，而分布函数就是给出了P的角色。这个P给的很玄学，理论上来说，它不是分布函数赋予的，是在给定概率模型的时候就确定每个可测事件的概率了。概率分布把随机变量将样本点从样本空间带到实数轴上之后，整个实数轴的权重刻画出来，而分布函数又是概率分布的一种形式，于是利用分布函数，可以让我们研究清楚整个分布在实轴上的状态，但却不足以告诉我们具体准确的权分配方案。

$F=F_X:x\to P(X\le x)$满足：

（1）单调性：若$x\le y,$则$F(x)\le F(y)$.

（2）归一性：${\lim }_{x\to \infty }F(x)=1;{\lim }_{x\to -\infty }F(x)=0$.

（3）右连续性：${\lim }_{\delta \to 0^{+}}F(x+\delta )=F(x)$.

称满足上述三条性质的函数为一个分布函数。任意分布函数都是某随机变量的分布函数。

根据这些性质可以进行一些计算，并引出重要的尾分布函数，它也可以唯一确定一个概率分布。以后会常常使用到同分布的结论。在这个地方的研究里，样本空间，函数映射不重要，重要的是随机变量的分布。

离散型随机变量

离散型随机变量指的是$X$取可数个值$x_i,\forall i$的随机变量。

分布列

$p_i:=P(X=x_i),\forall i$为$X$的（概率）分布列。

分布列也能唯一确定离散型随机变量的概率分布。证明只需要考察分布函数的长相就可以。分布列的性质比较简单，经常接触。

离散型随机变量的分布主要有伯努利分布B(1,p)，单点（退化）分布，二项分布B(n,p)，几何分布G§，泊松分布P($\lambda$)，超几何分布H(N,M,n)。

1.伯努利分布

伯努利分布只有两个取值0 or 1，是最简单的分布类型。一个很有用的应用是示性函数(index function)：
$$\begin{gathered} 1_A(\omega )=1,\forall \omega \in A; \\ {1}_A(\omega )=0,\forall \omega \notin A \end{gathered}$$
可以验证示性函数是一个随机变量（注意，不是分布函数哈），且若$X\sim B(1,p)$，则
X = a.s. 1 A ， A = { X = 1 } . ( a l m o s t    s u r e l y ) X \overset{\text{a.s.}}{=} 1_A， A=\{X=1\}.(almost\ \ surely) X=a.s.1A​，A={X=1}.(almost  surely)
这挺妙的。

2.几何分布

引入几何分布中重要的尾分布函数：
$$G(x)=P(X>n)=(1-p{)}^n,\forall n\ge 0$$
无记忆性：

$P(X-n=k|X>n)=\frac{p(1-p{)}^{n+k-1}}{(1-p{)}^n}=p(1-p{)}^{k-1}=P(X=k)$

3.泊松分布

4.单点分布

$P(X=c)=1$.

5.超几何分布

$$P(X=k)=C_M^k{C}_{N-m}^{n-k}/C_N^n,k=0,1,2,\cdots ,n$$

描述的是N个产品，其中M个是次品，抽n个，抽到k个次品的概率。知道给定$n$，当产品数量无限多，次品数量/产品数量趋于定值p时，超几何分布$h(k;N,M,n)\to b(k;n,p),\forall k$

连续型随机变量

定义：

存在（可积）的概率密度函数（p.d.f.）p(x)使得
$$P(X\le x)={\int }_{-\infty }^{x}p(y)\mathrm{d}y,\forall x\in \mathbb{R}$$

由随机变量的分布函数的单调性质，$p(x)\ge 0$是几乎处处成立的；$p(x)$的全积分即密度函数的归一性，为1。

根据微分的定义：
$$P(x\le X\le x+\Delta x)={\int }_{-\infty }^{x+\Delta x}p(x)\mathrm{d}x-{\int }_{-\infty }^{x}p(x)\mathrm{d}x=p(x)\Delta x+o(\Delta x)$$
在Lebesgue积分的意义下：
$$P(X\in B)={\int }_{B}p(x)\mathrm{d}x=\int p(x)1_B\mathrm{d}x,\forall B\in \mathcal{B}$$
显然，密度函数就是分布函数的导数。

1.均匀(uniform)分布

p ( x ) = 1 b − a ⋅ 1 { a ≤ x ≤ b } ;      p ( x ) = 1 b − a , a < x ≤ b p(x) = \frac1{b-a}\cdot 1_{\{a\le x\le b\}}; \ \ \ \ p(x) = \frac1{b-a},a<x\le b p(x)=b−a1​⋅1{a≤x≤b}​;    p(x)=b−a1​,a<x≤b

可以表示为R上的示性函数（此时示性函数的自变量是实数，事件是对实数提的要求），也可以表示为带取值范围的（限定定义域）的常函数。

2.指数(exponential)分布

$X\sim Exp(\lambda ):$
$$p(x)=\lambda e^{-\lambda x},x>0.$$
实际意义是：等待第一个粒子出现的等待时间。

假设在$\frac{1}{n}$时间内放射粒子的概率为$p$，正比于区间长度$\frac{1}{n}$，假设$p=\lambda \times \frac{1}{n}.$这就把粒子放射看作是一个伯努利试验，令$X=\frac{Y}{n}$，$Y$是一个几何分布，即等待第一个硬币正面的投币次数，乘上单位时间就得到等待第一个粒子放射的时间。下面考察尾分布：
$$P(X>t)=P(Y>nt)=(1-p{)}^{nt}=(1-\frac{\lambda }{n}{)}^{nt}\to e^{-\lambda t}(t\to \infty )$$
故几何分布可以过渡到连续的指数分布。

还有无记忆性：$P(X-t>s|X>t)=e^{-\lambda s}$。

一个证明：唯一无记忆性的连续型分布和离散型分布

假设$X$为离散型随机变量，取值为$x_1,x_2,\cdots$,分布列为$p_1,p_2,\cdots$,且$X$有无记忆性。

则
$$P(X-n=k|X>n)=\frac{p_{n+k}}{(1-p_1)(1-p_2)\cdots (1-p_n)}=p_k$$
令$n=1$,
$$\begin{gathered} p_1\stackrel{\Delta }{=}p \\ {p}_{1+k}=p_k(1-p) \\ {p}_2=p(1-p) \\ {p}_3=p_2(1-p)=p(1-p{)}^2 \\ \cdots \\ {p}_n=p(1-p{)}^{n-1} \end{gathered}$$
即$X$服从几何分布。

连续性：待补充（需要利用柯西引理）。

正态(Normal)分布

$X\sim N(\mu ,{\sigma }^2)$：
$$p(x)=\frac{1}{\sqrt{2\pi {\sigma }^2}}{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}.$$
标准正态分布$X\sim N(0,1)$:
$$p_Z(x)=\frac{1}{\sqrt{2\pi }}{e}^{-\frac{x^2}{2}}$$

证明正态密度的积分为1：

$$I=\frac{1}{2\pi }{\int }_{-\infty }^{\infty }{e}^{-\frac{x^2}{2}}\mathrm{d}x{\int }_{-\infty }^{\infty }{e}^{-\frac{y^2}{2}}\mathrm{d}y=\frac{1}{2\pi }{\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }{e}^{-\frac{x^2}{2}}{e}^{-\frac{y^2}{2}}\mathrm{d}x\mathrm{d}y=\frac{1}{2\pi }{\int }_0^{2\pi }{\int }_0^{\infty }{e}^{-\frac{r^2}{2}}r\mathrm{d}r\mathrm{d}\theta =-{\int }_0^{+\infty }{e}^{-x}\mathrm{d}(-x)=1$$

标准化：

一个一般的正态变量$X\sim N(\mu ,{\sigma }^2)$，则$\frac{X-\mu }{\sigma }\sim N(0,1)$：

令$Z=\frac{X-\mu }{\sigma },$
$$\begin{gathered} F_Z(x)=P(X\le \sigma x+\mu )=F_X(\sigma x+\mu ) \\ {p}_Z(x)=F_Z^{\prime }(x)=\sigma F_X^{\prime }(\sigma x+\mu )=\frac{1}{\sqrt{2\pi }}{e}^{-\frac{x^2}{2}} \end{gathered}$$
故一般的正态变量可以通过减去均值，除以标准差的方式化为标准正态变量。

随机向量和随机变量独立性

随机向量

若随机变量${\xi }_1(\omega ),{\xi }_2(\omega ),\cdots ,{\xi }_n(\omega )$定义在同一个概率空间$(\Omega ,\mathcal{F},P)$上，则称
$$\xi (\omega )=({\xi }_1(\omega ),{\xi }_2(\omega ),\cdots ,{\xi }_n(\omega ))$$
为一个$n$维随机向量（$n$维随机变量）。可以记为

$\xi =\overrightarrow{X}:\Omega \to {\mathbb{R}}^n,\omega \mapsto (X_1(\omega ),\cdots ,X_n(\omega ))$.

甚至可以有可列个随机变量的随机向量。这时候更多称为一列随机变量。

n维Borel集

同样地，类似有
{ X ∈ B } ∈ F , B ∈ B n = σ ( { ( − ∞ , x 1 ] × ⋯ × ( − ∞ , x n ] : x 1 , ⋯   , x n ∈ R } ) \{X\in B\}\in \mathcal F,B\in \mathcal B^n=\sigma(\{(-\infty,x_1]\times\cdots\times(-\infty,x_n]:x_1,\cdots,x_n\in\R\}) {X∈B}∈F,B∈Bn=σ({(−∞,x1​]×⋯×(−∞,xn​]:x1​,⋯,xn​∈R})

联合分布

研究随机向量，不单单要研究每一个随机变量分量，还要研究他们合在一起产生的性质，于是引入了联合分布：
$${\mu }_{\overrightarrow{X}}(B),\forall B\in {\mathcal{B}}^n$$
表示的是随机向量在$Borel$集上的权重分布情况。

联合分布函数：
$$F_X(\overrightarrow{x})=P(X_i\le x_i,i=1,2,\cdots ,n)$$
联合分布函数满足三条性质：

（1）单调性：关于每个变元是不减函数；

（2）归一性：任何一个分量是$-\infty$，$F=0$；全都是$+\infty$时，$F=1$.

（3）右连续性；关于每个变元右连续。

对于2维情形，还需要有
$$F(x+dx,y+dy)-F(x+dx,y)-F(x,y+dy)+F(x,y)\ge 0.$$

离散型随机向量

对随机向量$\overrightarrow{X}$，每个分量$X_i$都是离散型随机变量。

联合分布列：$P(X_i=x_i,i=1,2,\cdots ,n)$.

多项分布

例子：有大量粉笔，含红、黄、蓝三种颜色，比例分别为$p_1,p_2,p_3$，抽$n$支，分别抽到$R,Y,B$支红、黄、蓝颜色的粉笔。

大量说明是一个二项分布。假定抽中的$R-Y-B$粉笔数量是一个随机向量，
$$\begin{gathered} \overrightarrow{X}(\omega )=(R(\omega ),Y(\omega ),B(\omega )) \\ P(R=k_1,Y=k_2,B=k_3)=P(R=k_1,Y=k_2,B=n-k_1-k_2)=C_n^{k_1}{C}_{n-k_1}^{k_2}{p}_1^{k_1}{p}_2^{k_2}{p}_3^{n-k_1-k_2}, \\ \forall k_1,k_2,k_3\ge 0,k_1+k_2+k_3=n.P(R=k_1,Y=k_2,B=k_3)=\frac{n!}{k_1!k_2!(n-k_1-k_2)!}{p}_1^{k_1}{p}_2^{k_2}{p}_3^{n-k_1-k_2} \end{gathered}$$
上面这就是一个多项分布分布列的例子。
$$P(R=k_1)=\sum _{k_2}P(R=k_1,Y=k_2)=C_n^{k_1}{p}_1^{k_1}(\sum _{k_2=0}^{n-k_1}{C}_{n-k_1}^{k_2}{p}_2^{k_2}{p}_3^{n-k_1-k_2})=C_n^{k_1}{p}_1^{k_1}(1-p_1{)}^{n-k_1},k_1=0,\cdots ,n$$
这是边缘分布列。由于本质该随机向量的维数为2，将其余维度的所有情形都累加完毕，可以得到边缘分布列。
$$P(Y=k_2|R=k_1)=\frac{P(R=k_1,Y=k_2)}{P(R=k_1)}=C_{n-k_1}^{k_2}(\frac{p_2}{p_2+p_3}{)}^{k_2}(\frac{p_3}{p_2+p_3}{)}^{n-k_1-k_2},k_2=0,\cdots ,n-k_1,\forall k_1.$$
这是条件分布列。

可以看到，边缘分布列是一个二项分布$B(n,p_1)$，条件分布列是一个二项分布$B(n-k_1,\frac{p_2}{p_2+p_3})$.

联合分布列、条件分布列、边缘分布列的关系：$\forall k_1,k_2:$
$$P(R=k_1,Y=k_2)=P(R=k_1)P(Y=k_2|R=k_1).$$
知道联合分布列->可以求条件分布列和边缘分布列；

知道所有的条件分布列和边缘分布列->还原联合分布列。

多元超几何分布

红黄蓝球各$N_1,N_2,N_3$个，抽$n$个，抽到各$R,Y,B$个。
$$P(R=k_1,Y=k_2,B=k_3)=\frac{C_{N_1}^{k_1}{C}_{N_2}^{k_2}{C}_{N_3}^{n-k_1-k_2}}{C_{N_1+N_2+N_3}^n}$$

边缘分布列：
$$P(R=k_1)=C_{N_1}^{k_1}\sum _{k_2}\frac{C_{N_2}^{k_2}{C}_{N_3}^{n-k_1-k_2}}{C_{N_1+N_2+N_3}^n}$$
这边证明一个组合数公式：
$$\sum _{i=0}^s{C}_a^i{C}_b^{s-i}=C_{a+b}^s$$
考虑红球有$a$个，蓝球有$b$个，一共从里面挑出$s$个球，所有的方法数可以是先从红球挑$i$个，再从蓝球挑$s-i$个，对所有可能的$i$求和。也可以直接把红球蓝球混在一起，直接挑$s$个。那么边缘分布列：
$$P(R=k_1)=\frac{C_{N_1}^{k_1}}{C_{N_1+N_2+N_3}^n}\sum _{k_2}{C}_{N_2}^{k_2}{C}_{N_3}^{n-k_1-k_2}=\frac{C_{N_1}^{k_1}{C}_{N_2+N_3}^{n-k_1}}{C_{N_1+N_2+N_3}^n}$$
显然边缘分布也是一个超几何分布$H(N_1+N_2+N_3,N_1,n)$.

条件分布列：
$$P(Y=k_2|R=k_1)=\frac{C_{N_2}^{k_2}{C}_{N_3}^{n-k_1-k_2}}{C_{N_2+N_3}^{n-k_1}}$$
也服从超几何分布$H(N_2+N_3,N_2,n-k_1)$.

连续型随机向量

连续型：$\overrightarrow{X}$在${\mathbb{R}}^n$中有联合概率密度函数$p(\overrightarrow{x})$，即
$$P(\overrightarrow{X}\le \overrightarrow{x})={\int }_{-\infty }^{x_1}\cdots {\int }_{-\infty }^{x_n}p(\overrightarrow{x})d{x}_1\cdots d{x}_n$$
边缘密度：对其他维作全积分；

条件密度：定义为联合密度除以边缘密度。

两个离散型随机变量放在一起是离散型的，两个连续型随机变量放在一起就不一定是连续型的，最简单的反例是降低维数，考虑圆周上的均匀分布或者对角线上的相同分布。

均匀分布

$$\overrightarrow{X}\sim U(G):p(\overrightarrow{x})=\frac{1}{|G|}\cdot 1_G(\overrightarrow{x})$$

多元正态分布

$$\overrightarrow{X}\sim N(\overrightarrow{\mu },\Sigma ):p(\overrightarrow{x})=\frac{1}{\sqrt{(2\pi {)}^{n}det(\Sigma )}}{e}^{-\frac{1}{2}(\overrightarrow{x}-\overrightarrow{\mu }){\Sigma }^{-1}(\overrightarrow{x}-\overrightarrow{\mu }{)}^T}$$

结论：多元正态分布的条件分布和边缘分布都是（多元）正态分布。

二元正态分布：
$$\begin{gathered} \Sigma =\left(\begin{array}{cc}{\sigma }_1^2& \rho {\sigma }_1{\sigma }_2\\ \rho {\sigma }_1{\sigma }_2& {\sigma }_2^2\end{array}\right)\overrightarrow{\mu }=({\mu }_1,{\mu }_2) \\ p(x,y)=\frac{1}{2\pi {\sigma }_1{\sigma }_2\sqrt{1-{\rho }^2}}{e}^{-\frac{1}{2(1-{\rho }^2)}\left(\frac{(x-{\mu }_1{)}^2}{{\sigma }_1^2}-2\rho \frac{(x-{\mu }_1)(y-{\mu }_2)}{{\sigma }_1{\sigma }_2}+\frac{(y-{\mu }_2{)}^2}{{\sigma }_2^2}\right)} \end{gathered}$$
边缘分布$X\sim N({\mu }_1,{\sigma }_1^2),Y\sim N({\mu }_2,{\sigma }_2^2)$.

条件分布
$$p_{Y|X}(y|x)=\frac{1}{\sqrt{2\pi (1-{\rho }^2){\sigma }_2^2}}{e}^{-\frac{(y-\mu {)}^2}{2{\sigma }_2^2}},\mu ={\mu }_2+\rho \frac{{\sigma }_2}{{\sigma }_1}(x-{\mu }_1)$$

随机变量的相互独立

若$\forall x_1,\cdots ,x_n\in \mathbb{R}$,
$$P(X_1\le x_1,\cdots ,X_n\le x_n)=P(X_1\le x_1)\cdots P(X_n\le x_n).$$
则称$X_1,\cdots ,X_n$相互独立。

可以将其中的区域改为任意borel集。

对于连续型，可以改为联合密度。

相互独立即：联合的就是边缘的乘积，条件的就是边缘的。

验证两个随机变量相互独立：
$$p(x,y)=f(x)g(y)p(y|x)=g(y)$$
只需要验证它们能写成只依赖于某个变元的函数即可。

对于两个连续型随机变量，如果他们相互独立，放在一起的随机向量就是连续型随机向量。
$$P(X\in A,Y\in B)=P(X\in A)P(Y\in B)=\int p(x)1_{A}dx\int p(y)1_{B}dy=\int \int p(x,y)1_A{1}_{B}dxdy$$

独立同分布

相互独立的相同分布。independent and identically distributed = i.i.d.

两两独立

$$P(X_i\le x,X_j\le y)=P(X_i\le x)P(X_j\le y),\forall i\ne j,\forall x,y$$

随机向量的独立

类似可以定义两两独立、相互独立、独立同分布。

泊松分流的例子

每个虫卵以概率p独立孵化成成虫，假设一只虫产卵数X服从P$(\lambda )$，求成虫数Y和死卵数Z的分布。

$$P(Y=k)=\sum _{n=k}^{\infty }P(Y=k|X=n)P(X=n)=e^{-\lambda }\sum _{n=k}^{\infty }\frac{{\lambda }^n}{n!}{C}_n^k{p}^k(1-p{)}^{n-k}=\frac{e^{-\lambda }{p}^k{\lambda }^k}{k!}\sum _{n=k}^{\infty }\frac{{\lambda }^{n-k}}{(n-k)!}(1-p{)}^{n-k}=e^{-\lambda p}\frac{(\lambda p{)}^k}{k!}$$

故$Y\sim P(\lambda p)$，同理，$Z\sim P(\lambda -\lambda p)$.

一个经典的例子。

随机变量的函数及其分布

基本概念

一个从实数映到实数的函数，可以让映射（随机变量）X成为f(X)，复合映射，成为新的随机变量。而需要满足的条件是这个函数是一个$Borel$函数。

Borel函数

定义：任意$Borel$集的原像是$Borel$集。（类似于开集的原像是开集）
$$f^{-1}(B)\in \mathcal{B},\forall B\in \mathcal{B}.$$
可以拓展出从$n$维到$m$维的borel函数。

$f(X)$是一个随机变量等价于
{ f ( X ) ∈ B } ∈ F , ∀ B ∈ B    ⟺    { X ∈ f − 1 ( B ) } ∈ F \{f(X)\in B\}\in \mathcal F,\forall B\in \mathcal B \iff \{X\in f^{-1}(B)\}\in \mathcal F {f(X)∈B}∈F,∀B∈B⟺{X∈f−1(B)}∈F
即$f$是一个$borel$函数。

同分布的随机变量，经过同一个borel函数作用得到的新随机变量同分布。

新随机变量的分布

如果是离散型，经过$borel$函数$f$作用后依然是离散型随机变量。
$$P(Y=y_j)=\sum _{i:f(x_i)=y_j}{p}_i.$$
连续型：

如果f严格单调，存在反函数$x=g(y)\in C^1$:
$$p_X(x)|dx|=p_y(y)|dy|\Rightarrow p_y(y)=p_X(x)\frac{1}{|f^{\prime }(x)|}=p(y)(\text{写成y的函数})$$
如果多段严格单调，可以分别累加：
$$p_Y(y)=\sum _{x_i:f(x_i)=y}{p}_X(x_i)\frac{1}{|f^{\prime }(x_i)|}$$
随机向量：
$$p_{\overrightarrow{Y}}(\overrightarrow{y})=\sum _{{\overrightarrow{x}}_i:f({\overrightarrow{x}}_i)=\overrightarrow{y}}{p}_{\overrightarrow{X}}({\overrightarrow{x}}_i)\frac{1}{|d\overrightarrow{y}/d\overrightarrow{x}|}.$$
若降低维数，可以考虑补充定义法，最后积掉一个分量。

随机变量的和

$$p_{X+Y}(w)=\int p_{X,Y}(x,w-x)dx$$

如果相互独立，则
$$p_W(w)=\int p_X(x)p_Y(w-x)dx$$

*顺序统计量

定义

设$X_1,X_2\cdots ,X_n$是一组iid的连续型随机变量，密度函数为$p(x)$，分布函数为$F(x)$，则
$$\begin{gathered} X_{(1)}=smallestof{X}_1,\cdots ,X_n \\ {X}_{(2)}=secondsmallestof{X}_1,\cdots ,X_n \\ \cdots \\ {X}_{(n)}=largestof{X}_1,\cdots ,X_n \end{gathered}$$
给定一个$\omega$，可以得到一组$(X_{(1)},\cdots ,X_{(n)})$且取值空间为$X_{(1)}\le X_{(2)}\le \cdots \le X_{(n)}$，下面研究这个顺序统计量作为随机向量，它的分布。

联合分布

$$p_{X_{(1)},\cdots ,X_{(n)}}(x_1,x_2,\cdots ,x_n)=n!p(x_1)p(x_2)\cdots p(x_n)$$

建立直观即可：顺序统计量们取到一组值$(x_1,\cdots ,x_n)$，原来的随机变量$X_1,\cdots ,X_n$可以有$n!$种排列方式去取得它们。

边缘分布

针对于某个特定的顺序统计量的边缘分布：
$$p_{X_{(j)}}(x)=\frac{n!}{(j-1)!(n-j)!}[F(x){]}^{j-1}[1-F(x){]}^{n-j}p(x)$$
同样可以建立直观：前面的系数是一个多项分布，考虑$X_{(j)}$在$x$点处的密度，等价于$X_1,\cdots ,X_n$中有$j-1$个取到小于$x$，$n-j$个取到大于$x$，剩下一个位于$x$。然后乘以这几块对应的密度累积即可。

同理可以有：
$$\begin{gathered} p_{X_{(i)},X_{(j)}}(x_i,x_j)=\frac{n!}{(i-1)!(j-i-1)!(n-j)!}[F(x_i){]}^{i-1}[F(x_j)-F(x_i){]}^{j-i-1}[1-F(x_j){]}^{n-j}p(x_i)p(x_j) \\ forall(x_i<x_j) \end{gathered}$$
*这个可以应用到求极差的分布。

可交换性

先由这n个顺序统计量生成n个新的随机变量：
$$\begin{gathered} Y_1=X_{(1)} \\ {Y}_i=X_{(i)}-X_{(i-1)},i=2,\cdots ,n \end{gathered}$$
若$X_1,\cdots ,X_n$服从$(0,1)$上的均匀分布，则这$n$个随机变量是可交换的。
$$p_{Y_1,\cdots ,Y_n}(y_1,\cdots ,y_n)=p_{X_{(1)},\cdots ,X_{(n)}}(y_1,\cdots ,y_1+\cdots +y_n)=n!(0<y_1<1,i=1,\cdots ,n,y_1+\cdots +y_n<1)$$
注意，利用了这个线性变换的jacobi行列式为1.

由于密度函数对$y_1,\cdots ,y_n$都是对称的，因此这是一个可交换随机向量。

再添加一个随机变量$Y_{n+1}=1-X_{(n)}$（依然在均匀分布的条件下讨论），则考虑
$$p_{Y_1,\cdots ,Y_{n-1},Y_{n+1}}(y_1,\cdots ,y_{n-1},y_n)=p(y_1,\cdots ,y_1+\cdots +y_{n-1},1-y_n)=n!$$
满足的条件与之前的相同，这两个分布是相同的。因此
$$V=(Y_1,\cdots ,Y_n)\stackrel{d}{=}(Y_1,\cdots ,Y_{n-1},Y_{n+1})=W$$
于是就有
$$(Y_1,\cdots ,Y_{n+1})\stackrel{d}{=}(Y_{{\sigma }_1},\cdots ,Y_{{\sigma }_{n+1}})$$