随机向量

联合分布

• 随机向量
• 随机向量的函数
• 联合分布：
  
  • 离散型：$p_{ij}$,
  • 连续型： 密度函数$p(x,y)$，分布函数$F(x,y)=P(X\leq x,Y\leq y)$
• 非负性、次可加性、归一性
  $$p(x,y)=\dfrac{\partial^2F(x,y)}{\partial x\partial y}$$
  $$p((X,Y)\in D)=\iint_Dp(x,y)\mathrm{d} x\mathrm{d} y$$

边缘分布

• 边缘分布：联合分布的分量
• 联合分布决定边缘分布，由联合分布积分得到

三项分布

$$p(x,y)=\dfrac{n!}{k_1!k_2!(n-k_1-k_2)!}p_1^{k_1}p_2^{k_2}(1-p_1-p_2)^{n-k_1-k_2}$$

二维正态分布

• 概率密度
  $$p(x,y)=\dfrac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}e^{-\frac{1}{2(1-\rho^2)}\left[(1-\mu_1)/\sigma_1)^2-2\rho(x-\mu_1)(x-\mu_2)/\sigma_1\sigma_2+(x-\mu_2/\sigma_2)^2\right]}$$
• 边缘密度是一维正态密度$p_X(x)\sim N(\mu_1,\sigma_1^2),p_Y(y)\sim N(\mu_2,\sigma_2^2)$
• 二维正态分布X和Y相互独立的充要条件是$\rho=0$
• $X+Y\sim N(2\mu,2\sigma^2)$

独立性

充要条件：

• $p(x,y)=p_X(x)p_Y(y)$
• $P(X=x_i,Y=y_i)=P(X=x_i)P(Y=y_i)$

函数的分布

• $Z=X+Y$的分布
  $$p_Z(z)=\int_{-\infty}^\infty p(x,z-x)\mathrm{d} x$$
• $Z=X/Y$的分布
  $$p_Z(z)=\int_{-\infty}^\infty |y|p(zy,y)\mathrm{d} y$$
• 可作变量替换的一般函数的分布
  $x=x(u,v),y=y(u,v)$，有
  $$q(u,v)=p[x(u,v),y(u,v)]\left|\frac{\partial(x,y)}{\partial(u,v)}\right|$$
• $X,Y$相互独立，则$E(XY)=E(X)E(Y),D(X)=D(X)+D(Y)$
• $$E[f(x,y)]=\iint f(x,y)p(x,y)\mathrm{d}x\mathrm{d}y$$

协方差

• 协方差：$\mathrm {cov}(X,Y)=E(X-E(X)(Y-E(Y))$
• $$|\mathrm {cov}(X,Y)|^2\leq \mathrm {var}(X)\cdot \mathrm {var}(Y)$$
• 相关系数： $$\rho=\frac{\mathrm {cov}(X,Y)}{\sqrt{\mathrm {var}(X)}\sqrt{\mathrm {var}(Y)}}$$
• $X,Y$独立则系数为$0$，$X,Y$线性相关则系数为$\pm 1$

$n$维分布

• 分布函数，密度函数，边缘分布，独立性，多项分布，
• 密度公式
  $$p((X_1,\cdots,X_n)\in D)=\iint_Dp(x_1,\cdots,x_n)\mathrm{d} x_1\cdots\mathrm{d} x_n$$
  • 独立的充要条件：联合密度等于各个密度之积。
  • 期望，协方差矩阵，相关阵（相关系数的矩阵），$n$维正态分布，随机变量的函数
  • 函数分布公式
    $$F(y)=\iint_{A(y)}p(x_1,\cdots,x_n)\mathrm{d}x_1\cdots\mathrm{d}x_n$$
  • 均值公式
    $$E[f(x_1,\cdots,x_n)]=\iint f(x_1,\cdots,x_n)p(x_1,\cdots,x_n)\mathrm{d}x_1\cdots\mathrm{d}x_n$$

  次序统计量

  • $X_{(k)}$的分布
    $$F_{X_{(k)}}(x)=P[X_{(k)}\leq x]=\frac{n!}{(k-1)!(n-k)!}\int_0^{F(x)}u^{k-1}(1-u)^{n-k}\mathrm{d}u$$

  • $X_{(1)},\cdots,X_{(n)}$的联合分布密度
    

    $$q(x_1,\cdots,x_n)=\begin{cases}n!\prod_{i=1}^np(x_i),x_1<\cdots<x_n\\0,else\end{cases}$$

    评论有问这个公式怎么证明，在此补充一下：
    

    $$\begin{array}a P((X_{(1)},\cdots,X_{(n)})\in D) &= P((X_{(1)},\cdots,X_{(n)})\in D, X_{(1)}<X_{(2)}<\cdots<X_{(n)})\\ &= P(\cup^*\{P((X_{i_1},\cdots,X_{i_n})\in D, X_{i_1}<X_{i_2}<\cdots<X_{i_n}\})\\ &=n!P((X_{1},\cdots,X_{n})\in D, X_{1}<X_{2}<\cdots<X_{n})\\ &=n! \iint_Dp(x_1,\cdots,x_n)I_{\{x_1<\cdots<x_n\}}\mathrm{d} x_1\cdots\mathrm{d} x_n\\ &= \iint_Dn!\prod_{i=1}^np(x_i)\mathrm{d} x_1\cdots\mathrm{d} x_n\\ \end{array}$$
    根据密度函数的定义， $X_{(1)},\cdots,X_{(n)}$的联合分布密度即为
    $$q(x_1,\cdots,x_n)=\begin{cases}n!\prod_{i=1}^np(x_i),x_1<\cdots<x_n\\0,else\end{cases}$$
    解释一下，
    第一个等号说的是该联合分布密度是连续函数，向量的X个分量存在相等的情况概率为0；
    第二个等号是说对于X个分量总可以给一个排序，排序的个数是n!个，每个排序对应一个可能成立的情况；
    第三个等号提取出n!；
    第四个等号用上述的密度公式将单个情况表示出来，最后用联合分布密度的定义得证。

  • $(X_{(1)},X_{(n)})$的联合密度为
    

    $$q_1(u_1,u_2)=\begin{cases}n(n-1)(F(u_2)-F(u_1))^{n-2}p(u_1)p(u_2),u_1<u_2\\0,else\end{cases}$$

  • 极差$\xi=X_{(n)-X_{(1)}}$的分布
    

    $$P(\xi\leq x)=n\int_{-\infty}^{\infty}(F(x+u)-F(u))^{n-1}p(u)du,x>0$$

  条件分布

  离散
  

  $$P(X=x_i|Y=y_j)=\dfrac{p_{ij}}{\sum_kp_{kj}}$$
  连续
  $$p_{X|Y}(x|y)=\frac{p(x,y)}{p_Y(y)}$$

  条件期望

  离散
  

  $$E(X|Y=y)=\sum_ix_iP(X=x_i|Y=y)$$
  连续
  $$E(X|Y=y)=\int_{-\infty}^{\infty}xp_{X|Y}(x|y)\mathrm{d}x=\frac1{p_Y(y)}\int_{-\infty}^{\infty}xp(x,y)\mathrm{d}x$$
  定理（权期望公式，条件期望与期望的关系）：
  $$E(X)=\int E(X|Y=y)p_Y(y)\mathrm{d}y,p_Y(y)>0$$
  离散类似
  $$\mathrm {Var}(Y)=E(\mathrm {Var}(Y|X))+\mathrm {Var}(E(Y|X))$$