概率论基础2----随机变量r.v.

1.Introduction

在概率论基础1里， 复习了如何计算某个事件的概率。以及如果不知直接获取在整个样本空间中，事件x的全部样本数，可以先统计在子样本集中的概率，再使用全概率公式，得到事件x在整个样本空间中的概率。

在本部分侧重于发掘样本空间中样本的分布规律，以及随机变量的关系。

2.均匀分布

2.1 离散均匀分布

统计学生生日月份，假设某一个班级的统计结果刚好如下图。每个学生是一个样本，用方格表示，放置在对应的月份(变量)轴上。

用概率形式描述为：

2.2 连续概率分布

统计随机数生成器（0-10）的分布，统计1000次，做数据统计时，数据的分辨率设置为0.1，最终的分布接近下面的图形。

用离散概率P形式表示为：

但是每个区间的概率是受数据分辨率（这里是0.1）影响，如果分辨率是1，则区间对应的概率是0.1，如下图。

为了消除区间大小（数据分辨率）的影响，引入概率密度。
$$f_X=\frac{dP}{dx}=\frac{\Delta P}{\Delta x}\text{\hspace{1em}(2.1)}$$
如果$f_X$可以用函数描述，则称这个函数为probabilities distribution function（PDF），用PDF表示随机数分布的规律，如下图。

3.期望和方差

3.1 期望

实际生活中，均匀分布的情况非常少，需要统计出分布的质心。
如统计某个高中学生,共1000人身高的分布，统计结果如下。将分布的质心往往作为期望，作为一种规律用于后续的预测的推理。

3.1.1 离散分布的期望

以1cm的分辨率绘制下图，
$$E(X)=\sum _{150}^{190}\frac{x\ast N(x)}{1000}=\sum _{150}^{190}x{P}_X(x)\text{\hspace{1em}(3.1)}$$

3.1.2 连续分布的期望

根据公式(2.1),我们知道概率和概率分布的关系有
$$P_X(x)=f_X(x)\ast dx\text{\hspace{1em}(3.2)}$$
代入到公式(3.1)中，有
$$E[X]=\sum _{150}^{190}x\ast f_X(x)dx\text{\hspace{1em}(3.3)}$$
当dx无穷小的时候，该公式可以转换成：
$$E[X]={\int }_{150}^{190}x\ast f_X(x)dx\text{\hspace{1em}(3.4)}$$

3.2 方差

物理中除了用质心位置描述分布外，往往还采用转动惯量描述质量分布和形状的影响。
类似于转动惯量，方差的定义为：
$$Var(X)=E[(x-E[X]{)}^2]=E[x^2]-(E[x]{)}^2\text{\hspace{1em}(3.5)}$$
利用公式(3.4),还可以用积分的方式，计算方差（转动惯量）。
$$Var(X)=\int (x-E(x){)}^2{f}_X(x)dx\text{\hspace{1em}(3.6)}$$

4.两个变量X,Y

4.1 两个变量的概率分布

游戏中自动生成人物，使用随机数生成器生人物的身高X和体重Y，身高的测量精度为1cm，体重的测量精度为1kg，统计4800个人物，可以绘制统计数据如下。

与单变量的概率图类似，如下图：

每个点的概率与区间的大小相关（身高的数据精度和体重的精度），避免区间大小的影响，用概率密度进行描述。
$$f_{X,Y}(x,y)=\frac{P(X=x,Y=y)}{\Delta x\Delta y}\text{\hspace{1em}(4.1)}$$

4.1.1两个变量下的期望

按照求一个二维物体的质心位置的方法去求期望，在每个维度上有一个质心坐标值。
$$\begin{array}{rlr}E[X]& =\int x{f}_X(x)dx& \\ E[Y]& =\int y{f}_Y(x)dy& \end{array}\text{\hspace{1em}(4.2)}$$

4.1.2 两个变量下的方差

此时方差类似于求这个二维物体的转动惯量。

• 方法1，利用定义就是方差（转动惯量）
  $$Var(X,Y)=\int \int f_{X,Y}((x-E[x]{)}^2+(y-E[Y]{)}^2)dxdy\text{\hspace{1em}(4.3)}$$
• 方法2，利用转动惯量的平行轴定理[1], 如在X轴将二维平面分解成均匀的区间，每个区间的转动的惯量为$J_x$,然后再计算$M{L}^2$。
  $$\begin{array}{rl}Var(X,Y)& =\int f_{Y|X=x}(y|X=x)Var(Y|X=x)dx\\ & +\int f_X(x)((E(Y|X=x)-E[Y]{)}^2+(x-E[x]{)}^2)dx\end{array}\text{\hspace{1em}(4.4)}$$
  

4.2 条件概率下的概率分布

拿到统计数据后，我们对Y=55kg，游戏人物的身高的非常感兴趣。

新的样本空间中有80个样本，此时的概率为：
$$P(X=x|Y=y)=\frac{P(X=x,Y=y)}{P(Y=y)}=\frac{1/2400}{1/60}=1/40\text{\hspace{1em}(4.5)}$$
根据全概率公式，可以先获得Y条件下的X的概率，再进行汇总,如上图
$$P(X=x)=\sum _i^{n}P(X=x,Y=y_i)=\sum _i^{n}P(Y=y)P(X=x|Y=y)\text{\hspace{1em}(4.6)}$$
用几何理解，每个特殊的y值分布有一个x的概率，再乘以这个特殊的y值在总体样本的占比，就是这个子样本空间中对应的x在总样本空间的占比。

获得新样本空间中的概率后，继续可以计算新的概率分布的概率密度。
$$\begin{array}{rlr}{f}_{X|Y=y}(x|Y=y)& =\frac{P(X=x|Y=y)}{\Delta x}& \\ & =\frac{P(X=x,Y=y)}{\Delta x\Delta y}\ast \frac{\Delta y}{P(Y=y)}& \\ & =\frac{f_{X,Y}(x,y)}{f_Y(y)}& \end{array}\text{\hspace{1em}(4.7)}$$
对于这个公式，可以从离散采样的角度理解,公式对应的贝叶斯条件概率
$$\begin{array}{rlr}{f}_{X|Y=y}(x|Y=y)\Delta x& =\frac{f_{X,Y}(x,y)\Delta x\Delta y}{f_Y(y)\Delta y}& \end{array}\text{\hspace{1em}(4.8)}$$

4.2.1 条件概率下的期望

例如我们关心当人物体重为Y=50kg时，游戏人物的身高的分布。
$$\begin{array}{rlr}E[X|Y=50]& =\sum _{150}^{190}x{P}_{X|Y=50}(x)& \\ & =\sum _{150}^{190}x{f}_{X|Y=50}(x)\Delta x& \\ & ={\int }_{150}^{190}x{f}_{X|Y=50}(x)dx& \\ & ={\int }_{150}^{190}x\frac{f_{X,Y}(x,y)}{f_Y(50)}dx& \end{array}\text{\hspace{1em}(4.9)}$$
有时候需要根据条件期望，再根据全概率分布，去计算整个样本空间的期望
$$\begin{array}{rl}E[X]& =\sum _{40}^{100}E[X|Y=y]P_Y(y)\\ & =E[E[X|Y]]\end{array}\text{\hspace{1em}(4.10)}$$

4.2.2 条件概率下的方差

例如我们关心当人物体重为Y=50kg，游戏人物的身高的分布。
$$\begin{array}{rl}Var(X|Y=50)& =\sum _{150}^{190}(x-E[X|Y=50]{)}^2{P}_{X|Y=50}(x|50)\\ & =\sum _{150}^{190}(x-E[X|Y=50]{)}^2{f}_{X|Y=50}(x|50)\Delta x\\ & ={\int }_{150}^{190}(x-E[X|Y=50]{)}^2{f}_{X|Y=50}(x|50)dx\end{array}\text{\hspace{1em}(4.11)}$$
同样的，有时候只能先获得条件概率下的方差，再利用转动惯量的平行轴定理。
$$\begin{array}{rl}Var(X)& =\sum _{40}^{100}(Var(X|Y=y)f_Y(y)dy+(E[X|Y=x]-E[X]{)}^2{P}_Y(y))\\ & =E[Var(X|Y)]+Var[E[X|Y]]\end{array}\text{\hspace{1em}(4.12)}$$

4.3 独立事件

如果恰好在不同的y值下，X的分布都是一样的，我们的例子显示是一样，则说明X,Y是独立事件，满足
$$\begin{array}{rlr}P(X=x|Y=y)& =P(X=x)& \\ P(X=x,Y=y)& =P(X=x)P(Y=y)& \end{array}$$
在我们这个例子中，
$$\begin{array}{rlr}{f}_{X,Y}(x,y)& =\frac{P(X=x,Y=y)}{\Delta x\Delta y}& \\ & =\frac{P(X=x)}{\Delta x}\frac{P(Y=y)}{\Delta y}& \\ & =f_X(x)f_Y(y)& \end{array}$$

4.3.1 独立事件的期望

目前已经得到了独立事件的概率和概率密度的关系，接下来非常感兴趣的是分布上是否有特殊的规律。
在推导的时候，从统计入手,身高和体重按照1cm($\Delta x$)和1kg($\Delta y$)的数据精度进行统计,最后
$$\begin{array}{rlr}E[XY]& =\frac{{\sum }_{sample1}^{sampleN}xy}{N-1}& \\ & =\sum _{150}^{190}\sum _{40}^{100}xy{P}_{X,Y}(x,y)=& \sum _{150}^{190}\sum _{40}^{100}xy{P}_X(x)P_Y(y)\\ & =\int \int xy{f}_{X,Y}(x,y)dxdy=& \int \int xy{f}_X(x)f_Y(y)dxdy\\ & =E[X]E[Y]& \end{array}$$

4.3.2 独立事件的方差

两个没有什么关系的分布放在一起，可以从信号的角度理解，两个独立信号，线性叠加，互不干扰。
$$Var(X+Y)=Var(X)+Var(Y)$$

4.4 X,Y变量之间的关系

4.4.1 协方差

$这个部分引用知乎马同学的回答[2]，详细的介绍可以看马同学的回答。$
在随机生成游戏人物体重和身高这个实验中，我们已经获取了全部4800个样本的数据，接下来可以在二维坐标系上，将所有数据点绘制出来。
在我们这个实验中，因为身高和体重都是随机生成的，并没有任何的线性规律可言，所以X,Y的关系如下图。

但是根据我们的生活经验：身高越高，体重一般越大，实际身高和体重存在一定的线性关系。

在统计，采用红色的方格的面积表示正相关，绿色的方格的面积表示负相关，如果所有样本对应的方格面积之和为0，则不存在线性关系。

• 统计离散点的协方差
  $$\begin{array}{rl}Cov(X,Y)& =\frac{{\sum }_{sample1}^{sampleN}(x-E(X))(y-E(Y))}{N}\end{array}$$
• 如果是连续变量，身高的数据精度为$\Delta x$,体重的数据精度为$\Delta y$,协方差为
  $$\begin{array}{rl}Cov(X,Y)& =\sum _{150}^{190}\sum _{40}^{100}(x-E(X))(y-E(Y))P_{X,Y}(x,y)\end{array}$$
• 换成概率密度表达为
  $$\begin{array}{rl}Cov(X,Y)& ={\int }_{150}^{190}{\int }_{40}^{100}(x-E(X))(y-E(Y))f_{X,Y}(x,y)dxdy\\ & =E[(X-E[X])(Y-E[Y])]\\ & =E[(XY-E[X]Y-E[Y]x+E[X]E[Y])]\\ & =E[XY]-E[X]E[Y]\end{array}$$

4.4.2相关系数

在我们这个实验中，协方差Cov的单位是$厘米\ast KG$,数学上引入无量纲技术，用相关系数表示。
$$\rho =\frac{Cov(厘米\ast KG)}{{\sigma }_x(厘米){\sigma }_y(kg)}$$
容易得到$\rho$的范围是[-1,1]，相关系数和变量之间关系，可以用下图[3]表示

4.5 组合概率

4.5.1 z=g(x)

某人玩roulette游戏，统计他赢钱的数目X（输钱X为负数），不管他赢钱或者是输钱都在创造GDP,即
$$Z=|X|$$

• z的概率P_Z(z)
  $$P_Z(z)=P_X(-z)+P_X(z)$$
• z的概率密度f_Z(z)
  $$\begin{array}{rl}{f}_Z(z)\Delta z& =f_X(-z)\Delta x+f_X(z)\Delta x\\ f_Z(z)& =f_X(-z)+f_X(z)\end{array}$$
  对于更加通用的关系Z=g(x)
  $$\begin{array}{rl}{f}_Z(z)\Delta z& =f_X(g^{-1}(z))\Delta x\\ f_Z(z)& =\frac{f_X(g^{-1}(z))}{g^{\prime }(g^{-1}(z))}\end{array}$$
• z的期望
  $$\begin{array}{rl}E[Z]& =\sum zPz(z)\\ & =\sum _{x:g(x)=z}zPz(x)\end{array}$$
  如果z=ax+b,那么E[Z]和E[X]的关系为：
  $$\begin{array}{rl}E[Z]& =\sum _{x:g(x)=z}(ax+b)Pz(x)\\ & =aE[x]+b\end{array}$$
• z的方差
  $$\begin{array}{rl}Var(Z)& =\sum _{x:g(x)=z}(z-E[Z]{)}^2{P}_X(x)\end{array}$$
  如果z=ax+b，那么Var[Z]和Var[X]的关系为：
  $$\begin{array}{rl}Var(Z)& =\sum _{x:g(x)=z}(ax+b-aE[x]-b{)}^2{P}_X(x)\\ & =a^{2}Var(x)\end{array}$$

4.5.2 Z=X+Y

一个典型的问题是两次掷色子，第一次的结果是X，第二次的结果是Y，两次结果之和是Z。假设两个事件有先后顺序，且X在前。

• z的概率$P_Z(z)$
  $$\begin{array}{rl}P(Z)& =\sum _{1\le x\le Z-1}{P}_X(x)P_{Y|X=x}(z-x|X=x)\end{array}$$
• z的概率密度$f_Z(z)$
  如果随机生成游戏中男、女主角两个人物的身高（X，Y），总身高之和为Z（实际中我们可能更关心两个人物的平均身高），此时变量均为连续变量。假设我们统计人物身高时的数据精度为$\Delta x,\Delta y$,研究连续变量的概率密度的关系。
  $$\begin{array}{rl}f(Z)\Delta z& =\sum _{150\le x\le 190}{f}_X(x)\Delta x{f}_{Y|X=x}(z-x|X=x)\Delta y\end{array}$$
  根据组合方程Z=X+Y，得到微分结果
  $$\frac{dz}{dy}=1+\frac{dx}{dy}$$
  概率分布的关系有：
  $$\begin{array}{rl}f(Z)& =\sum _{150\le x\le 190}{f}_X(x)\Delta x{f}_{Y|X=x}(z-x|X=x)(\frac{1}{1+dx/dy})\\ & ={\int }_{150}^{190}{f}_X(x)f_{Y|X=x}(z-x|X=x)(\frac{1}{1+dx/dy})dx\end{array}$$
  

References

[1] https://baike.baidu.com/item/%E8%BD%AC%E5%8A%A8%E6%83%AF%E9%87%8F/1994034?fr=aladdin
[2] https://zhuanlan.zhihu.com/p/70644127
[3] https://en.wikipedia.org/wiki/Correlation_and_dependence