UA MATH564 概率论II 连续型随机变量1

随机变量的变换

一元随机变量的变换

假设$X$为分布函数为$F_X$的一元随机变量，$X\in {\mathbb{D}}_X$，随机变量$Y=g(X)$，$g$为有界连续函数，则
$$F_Y(y)=P(Y\le y)=P(g(X)\le y)=P(X\in g^{-1}(Y\le y))$$
当$g$不是单调函数时需要按这个一般性的方法计算。假设$g$为单调递增的函数，定义$h=g^{-1}$，
$$\begin{gathered} F_Y(y)=P(X\le h(y))=F_X(h(y)) \\ {f}_Y(y)=f_X(h(y))h^{{}^{\prime }}(y) \end{gathered}$$
假设$g$为单调递减的函数，则
$$\begin{gathered} F_Y(y)=P(X>h(y))=1-F_X(h(y)) \\ {f}_Y(y)=-f_X(h(y))h^{{}^{\prime }}(y) \end{gathered}$$
综合这两个结果，当$g$单调时
$$f_Y(y)=f_X(h(y))|h^{{}^{\prime }}(y)|$$

多元随机变量的变换

假设$X$为分布函数为$F_X$的多元随机变量，$X\in {\mathbb{D}}_X$，随机变量$Y=g(X)$，$Y\in {\mathbb{D}}_Y$，$g$为有界连续函数，且Jacobi行列式$Jg\ne 0$，定义$h=g^{-1}$，根据$F_X$的归一化条件
$${\int }_{{\mathbb{D}}_X}{f}_X(x)dx=1$$
根据积分换元公式，等式左边等于
$${\int }_{{\mathbb{D}}_Y}{f}_X(h(y))|\frac{dx}{dy}|dy={\int }_{{\mathbb{D}}_Y}{f}_X(h(y))|Jh(y)|dy=1={\int }_{{\mathbb{D}}_Y}{f}_Y(y)dy$$
因此
$$f_Y(y)=f_X(h(y))|Jh(y)|$$

均匀分布与Pareto分布

离散的均匀分布

古典概型中，基本事件数量有限，且发生的可能性是均等的。这个假设可以用离散的均匀分布来描述。假设样本空间为 Ω = { w 1 , w 2 , . . . , w N } \Omega=\{w_1,w_2,...,w_N\} Ω={w1​,w2​,...,wN​}，随机变量$X:w_j\to j$的取值为 j ∈ { 1 , 2 , . . . , N } j \in \{1,2,...,N\} j∈{1,2,...,N}，则X的分布列（mass function）为
$$f_X(j)=P(X=j)=\frac{1}{N}$$
X的概率生成函数（Probability Generating Function，PGF）为
$${\rho }_X(z)=E(z^X)=\sum _{j=1}^N{z}^j{f}_X(j)=\frac{1}{N}\sum _{j=1}^N{z}^j=\frac{z-z^N}{(1-z)N}=\frac{1}{N}\sum _{i=k}^{N-1}{z}^i$$
X的均值和方差为
$$\begin{gathered} EX=\frac{1}{N}\sum _{j=1}^{N}j=\frac{N+1}{2} \\ VarX=\frac{1}{N}\sum _{j=1}^N{j}^2-(\frac{N+1}{2}{)}^2=\frac{(N-1)(N+1)}{12} \end{gathered}$$
根据PGF的性质
$$E(X{)}_k=\frac{1}{N}\sum _{j=1}^N(j{)}_k={\rho }_X^{(k)}(1)$$
其中记号$(j{)}_k$代表排列数$A_j^k$。对数列$a_n$引入（向前）差分运算
$${\Delta }_{+}{a}_n=a_{n+1}-a_n$$
则（向前）差分的前N项和为
$$\sum _{n=1}^N{\Delta }_{+}{a}_n=\sum _{n=1}^N(a_{n+1}-a_n)=a_{N+1}-a_1$$
考虑记号$(i{)}_k$关于$i$的（向前）差分
$${\Delta }_{+}(i{)}_k=(i+1{)}_k-(i{)}_k=(i+1)(i{)}_{(k-1)}-(i{)}_{(k-1)}(i-k+1)=k(i{)}_{k-1}$$
现在对$(j{)}_k$的前N项和进一步化简
$$\sum _{j=1}^N(j{)}_k=k!+\sum _{j=k+1}^N\frac{1}{k+1}{\Delta }_{+}(j{)}_{(k+1)}=k!+\frac{(N+1{)}_{k+1}-(k+1)!}{k+1}=\frac{(N+1{)}_{k+1}}{k+1}$$
所以
$$E(X{)}_k={\rho }_X^{(k)}(1)=\frac{(N+1{)}_{k+1}}{N(k+1)}$$

连续的均匀分布

连续的均匀分布脱胎于几何概型的基本假设。假设样本空间$\Omega \subset R^n$, $|\Omega |$是$\Omega$的Lebesgue测度，则$\forall x\in \Omega$，点$x$被取到的概率相同，从而密度（density）函数为
$$f_X(x)=\frac{I(x\in \Omega )}{|\Omega |}$$
假设$\Omega \subset R$，则$\Omega$可以由一列几乎不相交的闭区间表示
$$\begin{gathered} \Omega =\bigcup _{j=1}^J[a_j,b_j] \\ |\Omega |=\sum _{j=1}^J(b_j-a_j) \end{gathered}$$
假设$\Omega \subset R^2$，则$\Omega$可以由一列几乎不相交的闭矩形表示
$$\begin{gathered} \Omega =\bigcup _{j=1}^J{R}_j \\ |\Omega |=\sum _{j=1}^J|R_j| \end{gathered}$$
例如，一元连续均匀分布$U[a,b]$的密度为
$$f_X(x)=\frac{1}{b-a},x\in [a,b]$$
矩生成函数（Moment Generating Function，MGF）为
$$M_X(t)=E(e^{tX})={\int }_a^b\frac{e^{tx}}{b-a}dx=\frac{(e^b-e^a)e^t}{(b-a)t}$$

Zeta分布

假设X为离散均匀分布，$Y=g(X)=X^s$，则
$$f_Y(y)\propto y^{-s}$$
不妨假设$f_Y(y)=C{y}^{-s}$，
$$\begin{gathered} \sum _{y=1}^{\infty }C{y}^{-s}=C\sum _{y=1}^{\infty }{y}^{-s}=C\zeta (s)=1 \\ C=\frac{1}{\zeta (s)} \end{gathered}$$
其中$\zeta (s)$为Riemann-zeta函数。称随机变量Y服从zeta分布，
$$f_Y(y)=\frac{y^{-s}}{\zeta (s)}$$

Pareto分布

假设$X\sim U[0,1]$，$Y=g(X)=X^p$，则
$$f_Y(y)=f_X(g^{-1}(y))|h^{{}^{\prime }}(y)|=f_X(y^{-p})p{y}^{-(p+1)}=p{y}^{-(p+1)}$$
称随机变量Y服从Pareto分布。