概率机器人笔记(1)：概率论基础内容回顾

一、样本空间与随机事件

1.随机试验

• 相同条件下，试验可以重复进行
• 试验结果不止一个，但是试验之前可以知道所有可能出现的结果
• 试验前不能确定每次试验的结果是哪一个

2.样本空间

随机试验中所有可能的结果（样本点）组成的集合。

3.随机事件

随机试验的样本空间的子集，即样本点的集合。

二、概率与独立

1.概率

• 非负性：对于任意随机事件A，$P(A)\ge 0$
• 规范性：对于必然事件S，$P(S)=1$
• 可列可加性：若$A_1,A_2,\cdot \cdot \cdot$是两两互不相容事件，则有$$P\left(\bigcup _{i=1}^{\infty }{A}_i\right)=\sum _{i=1}^{n}P(A_i)$$称$P(A)$为事件A的概率。

2.条件概率

事件A发生的条件下事件B发生的概率，记：$$P(B|A)=\frac{P(AB)}{P(A)},P(A)\ge 0$$推广，乘法定理：$$P(AB)=P(A)P(B|A)=P(B)P(A|B)$$
理解：
假设甲、乙、丙三个工厂生产了一批产品，事件$A$为“产品是甲厂生产的”，事件$B$为“产品是正品”，从中任取一件产品，
$P(AB):取得的产品是甲厂生产且为正品的概率$
$P(B|A):已知取得的产品为甲厂生产，产品为正品的概率$
$P(A):取得的产品是甲厂生产的概率$
$$P(B|A)=\frac{甲厂生产的正品件数}{甲厂生产的总产品数}=\frac{甲厂生产的正品件数/总产品数}{甲厂生产的总产品数/总产品数}=\frac{P(AB)}{P(A)}$$

3.全概率公式

设随机试验$E$的样本空间为$S$,$B_1,B_2,\cdot \cdot \cdot ,B_n$是样本空间$S$的一个划分，且$P(B_i)>0,i=1,2,\cdot \cdot \cdot ,n$，则对于任一事件$A$，有$$P(A)=P(B_1)P(A|B_1)+P(B_2)P(A|B_2)+P(A)P(A|B_3)+\cdot \cdot \cdot +P(A)P(A|B_n)$$此式就是全概率公式，即
$$P(A)=\sum _{i=1}^{n}P(B_i)P(A|B_i)$$
理解：
假设甲、乙、丙三个工厂生产了一批产品，事件A为“这件产品是正品”，事件$B_1,B_2,B_3$分别为“这件产品是甲厂、乙厂、丙厂生产的”，从中任取一件产品，求这件产品为正品的概率。
$$P(A)=\frac{甲厂正品数+乙厂正品数+丙厂正品数}{总产品数}=\frac{甲厂正品数}{总正品数}+\frac{乙厂正品数}{总正品数}+\frac{丙厂正品数}{总正品数}=P(A{B}_1)+P(A{B}_2)+P(A{B}_3)=P(B_1)P(A|B_1)+P(B_2)P(A|B_2)+P(A)P(A|B_3)$$
即$$P(A)=\sum _{B}P(AB),离散$$$$P(A)=\int P(AB)dB,连续$$
根据条件概率公式
$$P(A)=\sum _{B}P(B)P(A|B)$$

4.贝叶斯公式

设随机试验$E$的样本空间为$S$,$B_1,B_2,\cdot \cdot \cdot ,B_n$是样本空间$S$的一个划分，且$P(B_i)>0,i=1,2,\cdot \cdot \cdot ,n$，对于任意事件$A$，有$$P(B_i|A)=\frac{P(B_i)P(A|B_i)}{{\sum }_{j=1}^{n}P(B_j)P(A|B_j)}$$
这就是著名的贝叶斯公式。
贝叶斯公式的推导有很多，下面从乘法公式入手：
$$P(AB)=P(A)P(B|A)=P(B)P(A|B)$$
$$P(B|A)=\frac{P(B)P(A|B)}{P(A)}=\frac{perior+likelihood}{evidence}$$
理解1：
假设甲、乙、丙三个工厂生产了一批产品，事件A为“这件产品是正品”，事件$B_1,B_2,B_3$分别为“这件产品是甲厂、乙厂、丙厂生产的”，从中任取一件产品，已知这件产品为正品，求是甲厂生产的概率。
$P(B_1|A)：已知产品为正品且产品是甲厂生产的概率，后验概率$
$P(A|B_1)：甲厂的正品率，似然概率$
$P(B_1)：抽取的产品是甲厂生产的概率，先验概率$
$$P(B_1|A)=\frac{甲厂生产的正品数}{总正品数}=\frac{甲厂生产的正品数/总产品数}{(甲正品数+乙正品数+丙正品数)/总产品数}=\frac{P(A{B}_1)}{P(A{B}_1)+P(A{B}_2)+P(A{B}_3)}=\frac{P(B_i)P(A|B_i)}{{\sum }_{j=1}^{3}P(B_j)P(A|B_j)}$$
理解2：
$$P(B|A)=\frac{P(A|B)}{P(A)}\times P(B)$$
其中，$\frac{P(A|B)}{P(A)}$作为参数对$P(B)$进行修正，转换为$A$条件下$B$的概率，即当甲厂正品率越高时，$P(A|B)$越大，抽中的正品是甲厂生产的概率$P(B|A)$也越大。
理解3：
$$P(B|A)=\frac{P(B)P(A|B)}{P(A)}$$两边关于B求和：
$$\sum _{B}P(B|A)=\sum _B\frac{P(B)P(A|B)}{P(A)}$$
$$1=\sum _B\frac{P(AB)}{P(A)}=\frac{P(A)}{P(A)}$$
也可以理解为，$P(A)$是与$B$无关的常数，为了保证等式左边求和等于1，在$P(AB)$下面做归一化处理，即除以$P(A)$，因为$P(AB)$即$P(B)P(A|B)$关于$B$的总和就是$P(A)$，以保证等式左右两边相等。
归一化：
$$P(B_i|A)=\frac{P(B_i)P(A|B_i)}{{\sum }_{j=1}^{n}P(B_j)P(A|B_j)}$$
$$P(B_i|A)=\eta P(B_i)P(A|B_i),其中，{\eta }^{-1}=\sum _{j=1}^{n}P(B_j)P(A|B_j)$$
理解4：向贝叶斯公式增加随机变量：
当向上述贝叶斯公式中添加变量时，容易求得，下面公式也是成立的，为了和《概率机器人》统一，用$x,y$替换上述$A,B$：
$$P(x|y,z)=\frac{P(y|x,z)P(x|z)}{P(y|z)}$$
可以这样粗略理解，由于${\sum }_{x}P(x)=1$，可得${\sum }_{x}P(x|y)=1$

5.事件的独立性

在概率论中，我们讨论的独立是：$$P(AB)=P(B|A)P(A)=P(B)P(A)$$
即事件$A$的发生不会影响事件$B$发生的可能性。
条件独立：
类似的，以其他变量$z$为条件下的，相互独立的$x,y$的联合概率公式：
$$P(x,y|z)=P(x|z)P(y|z)$$
等价于：
$$P(x|z)=P(x|y,z)$$
$$P(y|z)=P(y|x,z)$$
但是，以$z$为条件的$x,y$独立，并不能推出$x,y$绝对独立：
$$P(x,y|z)=P(x|z)P(y|z)\ne >P(x,y)=P(x)P(y)$$

三、随机变量及其分布

1.随机变量

随机试验结果所对应的实数值

2.离散型随机变量及其分布

(1)分布律
离散型随机变量所有可能的取值及其对应的概率
(2)分布函数
随机变量$X$对任意实数$x$有：
F ( x ) = P { X ≤ x } , − ∞ < x < + ∞ F(x)=P\{X\leq x\},-\infty<x<+\infty F(x)=P{X≤x},−∞<x<+∞
表示随机变量落在某一区间的概率
(3)0-1分布(两点分布)
试验的样本空间只有两个元素

$X$	$0$	$1$
$P$	$1-p$	$p$

(4)二项分布
试验的结果有两种，独立重复地进行$n$次称为$n$重伯努利试验
$X\sim b(n,p):$
$$P(X=k)=C_n^k{p}^k(1-p{)}^{n-k},k=0,1,2,\cdot \cdot \cdot ,n$$
(5)泊松分布
随机变量$X$的取值可以是$1,2,\cdot \cdot \cdot$
$X\sim \pi (\lambda ):$
$$P(X=k)=\frac{{\lambda }^k}{k!}{e}^{-\lambda },k=0,1,2,\cdot \cdot \cdot$$

2.连续型随机变量及其分布

(1)分布函数及概率密度
对于随机变量$X$的分布函数$F(x)$，若存在非负函数$f(x)$,使得对任意$x$有
$$F(x)={\int }_{-\infty }^{x}f(t)dt$$
$f(x)$为$x$的概率密度函数。
(2)均匀分布
$X\sim U(a,b):$
$$f(x)=\{\begin{array}{ll}\frac{1}{b-a},& \text{a<x<b}\\ 0,& \text{其他}\end{array}$$
(3)指数分布
随机变量$X$的概率密度为：
$$f(x)=\{\begin{array}{ll}\frac{1}{\theta }{e}^{-x/\theta },& \text{a<x<b}\\ 0,& \text{其他}\end{array}$$
(4)正态分布
$X\sim N(\mu ,{\sigma }^2):$
$$f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}},-\infty <x<+\infty$$
称随机变量$X$服从参数为$\mu$，$\sigma$的正态分布。

四、随机变量的数字特征

1.期望(均值)

离散型随机变量$X$的分布律为：
P { X = x k } = p k , k = 1 , 2 , ⋅ ⋅ ⋅ ， P\{X=x_k\}=p_k,k=1,2,···， P{X=xk​}=pk​,k=1,2,⋅⋅⋅，
若级数${\sum }_{k=1}^{\infty }{x}_k{p}_k$收敛，
$$E(x)=\sum _{k=1}^{\infty }{x}_k{p}_k$$
$$E(x)={\int }_{-\infty }^{+\infty }xf(x)dx$$
性质：

• $E(k)=k$
• $E(kX)=kE(X)$
• $E(X+Y)=E(X)+E(Y)$
• 若$X,Y$相互独立，$E(XY)=E(X)+E(Y)$

2.方差

D ( X ) = E { [ X − E ( X ) ] 2 } D(X)=E\{[X-E(X)]^2\} D(X)=E{[X−E(X)]2}
$$D(X)=E(X^2)-[E(X){]}^2$$
性质：

• $D(k)=0$
• $D(kX)=k^{2}D(X)$
• D ( X + Y ) = D ( X ) + D ( Y ) + 2 E { [ X − E ( X ) ] [ Y − E ( Y ) ] } = D ( X ) + D ( Y ) + 2 [ E ( X Y ) − E ( X ) E ( Y ) ] D(X+Y)=D(X)+D(Y)+2E\{[X-E(X)][Y-E(Y)]\}=D(X)+D(Y)+2[E(XY)-E(X)E(Y)] D(X+Y)=D(X)+D(Y)+2E{[X−E(X)][Y−E(Y)]}=D(X)+D(Y)+2[E(XY)−E(X)E(Y)]
  若$X，Y$相互独立，则有$D(X+Y)=D(X)+D(Y)$

3.协方差

C o v ( X , Y ) = E { [ X − E ( X ) ] [ Y − E ( Y ) ] } Cov(X,Y)=E\{[X-E(X)][Y-E(Y)]\} Cov(X,Y)=E{[X−E(X)][Y−E(Y)]}
性质：

• $Cov(X,Y)=Cov(Y,X)$
• $Cov(X,X)=D(X)$
• $D(X+Y)=D(X)+D(Y)+2Cov(X,Y)$
• $Cov(X,Y)=E(XY)-E(X)E(Y)$
• $Cov(aX,bY)=abCov(X,Y)$
• $Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)$
  协方差矩阵
  设$n$维随机变量$(X_1,X_2,\cdot \cdot \cdot ,X_n)$的二阶混合中心距
  c i j = C o v ( X i , Y j ) = E { [ X i − E ( X i ) ] [ X j − E ( X j ) ] } , i , j = 1 , 2 , ⋅ ⋅ ⋅ , n c_{ij}=Cov(X_i,Y_j)=E\{[X_i-E(X_i)][X_j-E(X_j)]\},i,j=1,2,···,n cij​=Cov(Xi​,Yj​)=E{[Xi​−E(Xi​)][Xj​−E(Xj​)]},i,j=1,2,⋅⋅⋅,n
  都存在，则
  $$C=\left(\begin{array}{cccc}{c}_{11}& c_{12}& \cdots & c_{1n}\\ c_{21}& c_{22}& \cdots & c_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ c_{n1}& c_{n2}& \cdots & c_{nn}\end{array}\right)$$为$n$维随机变量$(X_1,X_2,\cdot \cdot \cdot ,X_n)$的协方差矩阵。

4.矩

$k$阶原点矩
$$E(X^k),k=1,2,\cdot \cdot \cdot$$
$k$阶中心矩
E { [ X − E ( X ) ] k } , k = 1 , 2 , ⋅ ⋅ ⋅ E\{[X-E(X)]^k\},k=1,2,··· E{[X−E(X)]k},k=1,2,⋅⋅⋅
$k+l$阶混合矩
E { X k Y l } , k , l = 1 , 2 , ⋅ ⋅ ⋅ E\{X^kY^l\},k,l=1,2,··· E{XkYl},k,l=1,2,⋅⋅⋅
$k+l$阶混合中心矩
E { [ X − E ( X ) ] k [ Y − E ( Y ) ] l } , k , l = 1 , 2 , ⋅ ⋅ ⋅ E\{[X-E(X)]^k[Y-E(Y)]^l\},k,l=1,2,··· E{[X−E(X)]k[Y−E(Y)]l},k,l=1,2,⋅⋅⋅