【概率论】联合分布

联合分布

部分公式是自己推导的，有不对的地方请说出来 QAQ

离散随机变量

假设 $X$ 和 $Y$ 是定义在同一样本空间上的离散随机变量，它们的联合频率函数是 $p(x_i,y_i)=P(X=x_i,Y=y_i)$。

$P_X(x)={\sum }_{i}p(x,y_i)$​ 为 $X$​ 的边际频率函数，$P_Y$ 的定义类似。

连续随机变量

假设 $X$​​ 和 $Y$​​ 是具有累积分布函数 $F(x,y)$​​ 的连续型随机变量，它们的联合密度函数是两变量的分段连续函数。

$F(x,y)={\int }_{-\infty }^x{\int }_{-\infty }^{y}f(u,v)dvdu$。

那么在导数定义存在的情况下，$f(x,y)=\frac{{\partial }^2}{\partial x\partial y}F(x,y)$。

$(X,Y)$ 落入 $(x,y)$ 的较小邻域概率与 $f(x,y)$ 成比例：$P(x\le X\le x+dx,y\le Y\le y+dy)=f(x,y)dxdy$。

$X$ 的边际累积分布函数： $F_X(x)=P(X\le x)={\int }_{-\infty }^x{\int }_{-\infty }^{+\infty }f(u,y)dydu$​。

$X$​ 的边际密度函数为：$f_X(x)=F_X^{\prime }(x)={\int }_{-\infty }^{+\infty }f(x,y)dy$​​。

独立随机变量

定义

随机变量 $X_1,\dots ,X_n$​​​​​ 称为独立的，如果 $\forall x_i$​​​​​，它们联合累积分布函数可分解成各自边际累积分布函数之积 $F(x_1,\dots ,x_n)=\prod F(X_i)$​​​​，该定义对离散型和连续型随机变量都是成立的。

对于离散型随机变量，等价的叙述为：分解联合频率函数。

对于连续型随机变量，等价的叙述为：分解联合密度函数。

条件分布

离散情形

如果 $X$ 和 $Y$ 是离散随机变量，给定 $Y=y_j$ 的情况下 $X=x_i$ 的条件概率是：如果 $p_Y(y_j)>0$​，那么
$$P(X=x_i|Y=y_j)=\frac{P(X=x_i,Y=y_j)}{P(Y=y_i)}=\frac{p_{XY}(x_i,y_j)}{p_Y(y_j)}$$
也可以重新表述为：
$$p_{XY}(x,y)=p_{X|Y}(x|y)p_Y(y)$$

连续情形

如果 $f_Y(y)>0$​，那么
$$f_{XY}(x,y)=f_{X|Y}(x|y)f_Y(y)$$
否则为 $0$。

联合分布随机变量函数

首先考虑一些重要的特殊情形：

和与商

和

对于离散形式，设 $X,Y$ 为离散型随机变量，具有联合频率函数 $p(x,y)$，令 $Z=X+Y$，那么 $Z$ 的频率函数为：
$$p_Z(z)=\sum _{i=-\infty }^{\infty }p(x,z-x)$$
这个和称为序列 $p_X,p_Y$ 的卷积。

对于连续形式，设 $X,Y$ 为连续型随机变量，我们首先计算 $Z=X+Y$ 的累积分布函数 $F_Z$。
KaTeX parse error: Undefined control sequence: \ce at position 108: …(x, y)dydx \\ &\̲c̲e̲{\overset{v=x+y…

${\int }_{-\infty }^{+\infty }f(x,v-x)dx$ 可以看作是 $g(v)$（关于 $v$ 的函数）。​

那么 $f_Z(z)={\int }_{-\infty }^{+\infty }f(x,z-x)dx$​。

如果 $X,Y$​​ 独立，那么 $f_Z(z)={\int }_{-\infty }^{+\infty }{f}_X(x)f_Y(z-x)dx$​​

商

下考虑两个随机变量的商。

$Z=Y/X$​​，推导的方式类似于上述和的推导方式可以得到结果，这里采取另一种方法：利用二重积分的变量替换。

令：
$$\{\begin{array}{l}u=y/x\\ v=x\end{array}$$
那么有：

$F_Z(z)={\int }_{-\infty }^z{\int }_{-\infty }^{+\infty }f(v,uv)|J|dvdu$

其中 $J=\frac{\partial (x,y)}{\partial (u,v)}$，这里的 $|J|$ 是 $J$ 的绝对值。​

化简即可得到 $F_Z(z)={\int }_{-\infty }^z{\int }_{-\infty }^{+\infty }|x|f(x,xv)dxdv$​​

因此 $f_Z(z)={\int }_{-\infty }^{+\infty }|x|f(x,xz)dx$

如果 $X,Y$ 独立，$f_Z(z)={\int }_{-\infty }^{+\infty }|x|f_X(x)f_Y(xz)dx$​。

一般情形

利用类似于上面使用雅可比行列式求随机变量的商的方法，我们可以得到多个随机变量函数的一般情形。

假设 $X,Y$ 是连续型随机变量，通过 $g_1,g_2$ 投影到 $U,V$ 上：$u=g_1(x,y),v=g_2(x,y)$。

同时存在逆变换 $x=h_1(u,v),y=h_2(u,v)$，那么有
$$f_{UV}(u,v)=f_{XY}(h_1(u,v),h_2(u,v))|J^{-1}(h_1(u,v),h_2(u,v))|$$

不难注意到这个公式和一维公式的形式是非常接近的。

极值与顺序统计量

假设 $X_1,\dots ,X_n$​ 是具有密度 $f(x)$​ 的独立连续型随机变量，对 $X_i$ 排序，记 $X_{(1)}<\cdots <X_{(n)}$ 为顺序统计量，现求 $X_{(k)}$ 的密度函数 $f_k(x)$。

用先求分布函数然后微分的方法比较复杂。

因为分布函数为 $F_k(x)={\sum }_{i=k}^n{C}_n^i[F(x){]}^i[1-F(x){]}^{n-i}$。

然后接下来我不会化了

注意到事件（已排列好） $x\le X_{(k)}\le x+dx$​ 发生的概率为：
$$[F(x){]}^{k-1}[1-F(x){]}^{n-k}f(x)dx$$
因此密度函数为：
$$\begin{array}{rl}{f}_k(x)& =C_n^{k-1}{C}_{n-(k-1)}^1[F(x){]}^{k-1}[1-F(x){]}^{n-k}f(x)\\ & =\frac{n!}{(k-1)!(n-k)!}[F(x){]}^{k-1}[1-F(x){]}^{n-k}f(x)\end{array}$$
至于极值（极大值、极小值）的密度函数便分别为上式 $k=n,1$​ 的结果。