2020.06.21 概率统计-Task01-随机事件与随机向量

今天开始跟着Datawhale在学习一遍概率统计的基础知识，希望自己可以坚持下来
有些内容涉及概念性的东西，所以就和讲义统一了

1. 随机事件

个人感觉该部分内容都是比较偏概念性的，但是却是需要深入理解的基础知识

1.1 基本概念释义

首先介绍基本概念，之后按照自己的理解进行举例：

• 随机现象：现实生活中的一个动作或一个事情在一定的条件下，所得到的结果不能预先完全确定，可能是多种结果中的一种，这样的现象叫做随机现象
• 随机试验：使得随机现象得以实现以及观察的全过程成为随机试验，记为$E$
• 样本空间：随机试验的所有可能结果组成的集合为样本空间，记为$\Omega$
• 样本点：试验的每一个可能的结果都是一个样本点，用大写字母$A,B,C$表示
• 必然事件：一定会发生的事件，称为$\Omega$
• 不可能事件：一定不会发生的事件，记作空集$\varphi$

---

举个例子：袋子里面有1-3编号六个球，有放回地随机摸两个球出来，那么：

• 该案例符合随机试验的定义，摸球的过程是一个随机现象
• 样本空间 / 必然事件：
  Ω = { ( 1 , 2 ) , ( 1 , 3 ) , ( 2 , 3 ) , ( 1 , 1 ) , ( 2 , 2 ) , ( 3 , 3 ) , ( 2 , 1 ) , ( 3 , 1 ) , ( 3 , 2 ) } \Omega=\{(1,2),(1,3),(2,3),(1,1),(2,2),(3,3),(2,1),(3,1),(3,2)\} Ω={(1,2),(1,3),(2,3),(1,1),(2,2),(3,3),(2,1),(3,1),(3,2)}
• 摸两次都为偶数可以看作是一个随机事件 A = { ( 2 , 2 ) } A=\{(2,2)\} A={(2,2)}
• 空集$\varphi$：摸两次得结果都大于5

---

1.2 概率

1.2.1 定义

随机试验$E$的样本空间为$\Omega$，对于每个事件$A$，定义一个实数$P(A)$与之对应，若函数$P(.)$满足条件：

1. 对每个事件$A$，均有$0<P(A)<=1$;
2. $P(\Omega )=1$;
3. 若事件$A_1,A_2,A_3,...$两两互斥，即对于$i，j=1,2,...，i\ne j,A_i\cap A_j=\varphi$，均有
   $P(A_1\cup A_2\cup ...)=P(A_1)+P(A_2)+...$
   则称$P(A)$为事件$A$的概率。

1.2.2 主要性质

• 对于任一事件$A$，均有$P(\overline{A})=1-P(A)$.

• 对于两个事件$A$和$B$，若$A\subset B$，则有
  $$P(B-A)=P(B)-P(A),P(B)>P(A)$$

• 对于任意两个事件$A$和$B$，有
  $$P(A\cup B)=P(A)+P(B)-P(A\cap B)$$

下面这张图基本可以对以上内容进行概括：

1.3 古典概型

总结古典概型的三个要素：

1. 样本空间中有有限个样本
2. 每个样本点的出现是等可能的
3. 每次试验有且只有一个样本点发生

例题：40个同学中至少有两个同一天过生日的概率

def factorial(n):
    if n == 0:
        return 1
    else:
        return (n * factorial(n - 1))

l = 365
k = 40
p = factorial(l)/(factorial(l - k) * l**k)

print('40个同学中至少有两个人同一天过生日的概率为%.3f' % (1-p))

1.4 条件概率

定义：设 $A$ 和 $B$ 是两个事件，且$P(B)>0$，称 $P(A|B)=\frac{P(AB)}{P(B)}$ 为在事件 $B$ 发生的条件下，事件 $A$ 发生的概率。

1.5 全概率公式和贝叶斯公式

1.5.1 全概率公式

设$B_1,B_2,...$是样本空间 $\Omega$ 的一个划分，$A$ 为任一事件，则

​ $P(A)={\sum }_{i=1}^{\infty }P(B_i)P(A|B_i)$

称为全概率公式。

1.5.2 贝叶斯公式

设$B_1,B_2,...$是样本空间 $\Omega$ 的一个划分，则对任一事件 $A(P(A)>0)$ ,有
$$P(B_i|A)=\frac{P(B_{i}A)}{P(A)}=\frac{P(A|B_i)P(B_i)}{{\sum }_{j=1}^{\infty }P(B_j)P(A|B_j)},i=1,2,...$$

称上式为贝叶斯公式，称$P(B_i)(i=1,2,...)$ 为先验概率，$P(B_i|A)（i=1,2,...）$为后验概率。

个人理解

目前还没有学习过机器学习，但是学习过信号理论中的贝叶斯均衡解
就像讲义里面说的那样，我们现在已知的条件是，$B_i$的概率，可以看作是实验结果$A$发生的原因，因此显然我们可以通过试验了解到$B_i$的前提条件下，实验结果发生的概率，我们就可以通过这些数值倒退出在实验结果下原因发生的概率，这是很有实际意义的。

换句话说，我们通过试验结果缩小了对原因判定的范围，使得我们的判断可以被应用在更多场合下

2. 随机变量

2.1. 随机变量及其分布

• 随机变量定义：

  设 $E$ 是随机试验，$\Omega$ 是样本空间，如果对于每一个 $\omega \in \Omega$ 。都有一个确定的实数 $X(\omega )$ 与之对应，若对于任意实 $x\in R$ , 有 { ω ： X ( ω ) < x } ∈ F \{\omega ：X(\omega) < x \} \in F {ω：X(ω)<x}∈F ，则称 $\Omega$ 上的单值实函数 $X(\omega )$ 为一个随机变量。

​ 从定义可知随机变量是定义在样本空间 $\Omega$ 上，取值在实数域上的函数。由于它的自变量是随机试验的结果，而随机试验结果的出现具有随机性，因此，随机变量的取值也具有一定的随机性。这是随机变量与普通函数的不同之处。

• 随机变量的分布函数定义：
  设 $X$ 是一个随机变量，对任意的实数 $x$ ，令
  F ( x ) = P { X < = x } , x ∈ ( − ∞ , + ∞ ) F(x) = P \{ X<=x\} ,x \in (- \infty ,+ \infty) F(x)=P{X<=x},x∈(−∞,+∞)
  ​ 则称 $F(x)$ 为随机变量 $x$ 的分布函数，也称为概率累积函数。

直观上看，分布函数 $F(x)$ 是一个定义在 $(-\infty ,+\infty )$ 上的实值函数， $F(x)$在点 $x$ 处取值为随机变量 $X$ 落在区间 $(-\infty ,+x]$上的概率 。分布函数（概率累积函数）很好理解，就是在一个区间范围内概率函数的累加。这个区间就是负无穷到当前节点。
如果随机变量 $X$ 的全部可能取值只有有限多个或可列无穷多个，则称 $X$ 为离散型随机变量。掷骰子的结果就是离散型随机变量。

​ 对于离散型随机变量 $X$ 可能取值为 $x_k$的概率为：
P { X = x k } = p k , k = 1 , 2 , . . . P \{ X =x_k \} =p_k,k=1,2,... P{X=xk​}=pk​,k=1,2,...
则称上式为离散型随机变量 $X$ 的分布律。
离散型随机变量的分布函数为：
F ( x ) = P { X < = x } = ∑ x k < = x P { X = x k } = ∑ x k < = x P k F (x) = P \{ X<=x \} =\sum_{x_k<=x}{ P \{ X=x_k \} } = \sum_{x_k <=x}{ P_k} F(x)=P{X<=x}=xk​<=x∑​P{X=xk​}=xk​<=x∑​Pk​

2.3 伯努利试验/二项分布

• 分布函数：

若随机变量 $X$ 的分布律为：
P { X = k } = C n k p k ( 1 − p ) n − k , k = 0 , 1 , 2 , . . . n . P \{ X =k \} =C^k_np^k(1-p)^{n-k},k=0,1,2,...n. P{X=k}=Cnk​pk(1−p)n−k,k=0,1,2,...n.
其分布函数为：
$$F（x）=\sum _{k=0}^{[x]}{C}_n^k{p}^k(1-p{)}^{n-k},k=0,1,2,...n.$$
其中， $[x]$ 表示下取整，即不超过 $x$ 的最大整数。

2.4 随机变量的数字特征

2.4.1 数学期望

• 离散型：设离散型随机变量 $X$ 的分布律为 P { X = x i } = p i , i = 1 ， 2 ， . . . ， P \{ X=x_i\} = p_i ,i =1，2，...， P{X=xi​}=pi​,i=1，2，...， 若级数 ${\sum }_i|x_i|p_i$ 收敛，

  （收敛指会聚于一点，向某一值靠近，相对于发散）。则称级数${\sum }_i{x}_i{p}_i$ 的和为随机变量 $X$ 的数学期望。记为 $E(X)$ ,即：

$$E(X)=\sum _i{x}_i{p}_i$$

• 设连续型随机变量 $X$ 的概率密度函数为 $f(x)$ ,若积分 ${\int }_{-\infty }^{+\infty }|x|f（x）dx$ 收敛， 称积分 ${\int }_{-\infty }^{+\infty }xf（x）dx$ 的值为随机变量 $X$ 的数学期望，记为 $E(X)$ ,即：
  $$E(X)={\int }_{-\infty }^{+\infty }xf（x）dx$$
  $E(X)$ 又称为均值。

数学期望代表了随机变量取值的平均值，是一个重要的数字特征。数学期望具有如下性质：

1. 若 $c$ 是常数，则 $E(c)=c$ ;
2. $E(aX+bY)=aE(X)+bE(Y)$ , 其中a, b为任意常数；
3. 若 $X,Y$ 相互独立，则$E(XY)=E(X)E(Y)$ ; （相互独立就是没有关系，不相互影响，这也可以作为协方差的判断依据）。

2.4.2 方差

• 设 $X$ 为随机变量，如果 E { [ X − E ( X ) ] 2 } E\{ [X-E(X)]^2\} E{[X−E(X)]2} 存在，则称 E { [ X − E ( X ) ] 2 } E\{ [X-E(X)]^2\} E{[X−E(X)]2} 为 $X$ 的方差。记为 $Var(X)$ , 即：

V a r （ X ） = E { [ X − E ( X ) ] 2 } Var （X） =E\{ [X-E(X)]^2\} Var（X）=E{[X−E(X)]2}

​ 并且称 $\sqrt{Var(X)}$ 为 $X$ 的标准差或均方差。

方差是用来描述随机变量取值相对于均值的离散程度的一个量，也是非常重要的数字特征。方差有如下性质:

1. 若 $c$ 是常数，则 $Var(c)=0$ ;
2. $Var(aX+b)=a^{2}E(X)$ , 其中a, b为任意常数；
3. 若 $X,Y$ 相互独立，则$Var(X+Y)=Var(X)+Var(Y)$ 。

2.4.3 协方差以及相关系数

协方差和相关系数都是描述随机变量 $X$ 与随机变量 $Y$ 之间的线性联系程度的数字量。

• 设 $X,Y$ 为两个随机变量，称 E { [ X − E ( X ) ] [ Y − E ( Y ) ] } E \{ [X-E(X)] [Y-E(Y)]\} E{[X−E(X)][Y−E(Y)]} 为 $X$ 和 $Y$ 的协方差，记为 $Cov(X,Y)$，即：
  C o v ( X , Y ) = E { [ X − E ( X ) ] [ Y − E ( Y ) ] } Cov(X, Y) = E\{ [X-E(X)] [Y-E(Y)]\} Cov(X,Y)=E{[X−E(X)][Y−E(Y)]}
  协方差有如下性质：

  1. $Cov(X,Y)=Cov(Y,X)$ ;

  2. $Cov(aX+b，cY+d)=acCov(X，Y)$ ,其中， $a,b,c,d$ 为任意常数；

  3. $Cov(X_1+X_2，Y)=Cov(X_1，Y)+Cov(X_2，Y)$ ;

  4. $Cov(X，Y)=E(XY)-E(X)E(Y)$ ; 当 $X,Y$ 相互独立时，有 $Cov(X，Y)=0$;

  5. $|Cov(X，Y)|=\sqrt{Var(X)}\sqrt{Var(Y)}$ ;

  6. $Cov(X，X)=Var(X)$ ;

• 当 $\sqrt{Var(X)}>0，\sqrt{Var(Y)}>0$ 时，称
  $$\rho （X,Y）=\frac{Cov(X，Y)}{\sqrt{Var(X)}\sqrt{Var(Y)}}$$
  为 $X,Y$ 的相关系数，它是无纲量的量（也就是说没有单位，只是个代数值）。

• 基本上我们都会用相关系数来衡量两个变量之间的相关程度。相关系数在-1到1之间，小于零表示负相关，大于零表示正相关。绝对值 $|\rho （X,Y）|$ 表示相关度的大小。越接近1，相关度越大。