【概率论】基本概念

未经同意，禁止转载

本文为本人在校学习笔记，若有疑问或谬误，欢迎探讨、指出。

【概率论】基本概念

简单运算

1. 集合扩充
   $$A\cup B=A\cup \overline{A}B=B\cup A\overline{B}=A\overline{B}\cup AB\cup \overline{A}B$$

2. 加法公式
   $$P(A\cup B)=P(A)+P(B)-P(AB)$$
   一般化 $\to$ Jordan公式

3. 易错：

   • $P(A\cup B)\ne P(A)+P(B)$，仅当不相容时相等

   • $P(A-B)\ne P(A)-P(B)$

   • $P(AB)\ne P(A)P(B)$，仅当相互独立时成立

条件概率

$$P(B|A)=\frac{P(AB)}{P(A)}$$

1. 乘法定理

$$\begin{gathered} P(AB)=P(B|A)P(A) \\ P(ABC)=P(C|AB)P(B|A)P(A) \\ ... \end{gathered}$$

2. 全概率公式

$$P(A)=\sum _i^{n}P(A|B_i)P(B_i),S=\bigcup _i^n{B}_i$$

也即有
$$\begin{gathered} P(A)=\sum _i^{n}P(A{B}_i),S=\bigcup _i^n{B}_i \\ P(A\bar{B})=P(A)-P(AB) \\ \dots \end{gathered}$$

3. 贝叶斯公式 (Bayes Law)

$$P(A|B_i)=\frac{P(B_i|A)P(A)}{P(B_i)}=\frac{P(B_i|A)P(A)}{{\sum }_i^{n}P(A|B_i)P(B_i)}$$

贝叶斯公式从数量上刻画了先后验概率的差异

4. 独立性

• 两个事件相互独立

$$P(AB)=P(A)P(B)$$

• 三个事件相互独立
  $$\{\begin{array}{l}P(AB)=P(A)P(B)\\ P(BC)=P(B)P(C)\\ P(AC)=P(A)P(C)\\ P(ABC)=P(A)P(B)P(C)\end{array}$$
  仅满足其中若干个式子不足以判定相互独立

• 若n个事件相互独立，至少有一个发生的概率：
  $$\begin{array}{rl}& P(\bigcup _{i=1}^n{A}_i)\\ & =1-P(\overline{\bigcup _{i=1}^n{A}_i})\\ & =1-P(\bigcap _{i=1}^n\overline{A_i})\\ & =1-\prod _{i=1}^{n}P(\overline{A_i})\end{array}$$
  最后一个式子很好理解：除了n个事件都不发生之外，其他情况都符合。

• 独立和互斥

  当两个事件的概率都不为0时，两者互斥不独立，独立不互斥。

  • 当 $P(A)>0$ 且 $P(B)>0$ 时
    • 互斥 $\Rightarrow$ 不独立
    • 独立 $\Rightarrow$ 不互斥
  • 当 $P(A)=0\cup P(B)=0$ 时 （至少有一个为0）
    • 互斥 $\Rightarrow$ 独立
    • 独立 $\nRightarrow$ 互斥

数字特征

常见分布的数字特征

分布	期望	方差
(0-1) Distribution $X\sim B(1,p)$	$p$	$p(1-p)$
Binomial Distribution $X\sim B(n,p)$	$np$	$np(1-p)$
Poisson Distribution $X\sim \pi (\lambda )$	$\lambda$	$\lambda$
Geometric Distribution $X\sim G(p)$	$\frac{1}{p}$	$\frac{1-p}{p^2}$
Uniform Distribution $X\sim U(a,b)$	$\frac{1}{2}(a+b)$	$\frac{1}{12}(b-a{)}^2$
Exponential Distribution $X\sim E(\theta )$	$\theta$	${\theta }^2$
Gamma Distribution $X\sim \Gamma (\alpha ,\beta )$	$\alpha \beta$	$\alpha {\beta }^2$
Normal Distribution $X\sim N(\mu ,\sigma )$	$\mu$	${\sigma }^2$
chi-square Distribution $X\sim {\chi }^2(n)$	$n$	$2n$

1. 数学期望

又称为均值。采样样本很大时可以，频率可以近似为概率，进而用于估计期望。

• 离散型

  级数需要绝对收敛，否则没有数学期望。
  P { X = x k } = p k , k = 1 , 2 , 3... E ( X ) = ∑ k = 1 ∞ x k p k P\{X = x_k\} = p_k, \quad k = 1,2,3... \\ E(X) = \sum_{k=1}^\infty x_k p_k P{X=xk​}=pk​,k=1,2,3...E(X)=k=1∑∞​xk​pk​

• 连续型

  积分需要绝对收敛。
  $$\begin{gathered} X\sim f(x) \\ E(X)={\int }_{-\infty }^{\infty }xf(x)\mathrm{d}x \end{gathered}$$

• 随机向量

  $X,Y\sim f(x,y)$
  $$\begin{gathered} E(X)={\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }xf(x,y)\mathrm{d}x\mathrm{d}y={\int }_{-\infty }^{\infty }x{f}_Y(y)\mathrm{d}y \\ E(Y)={\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }yf(x,y)\mathrm{d}x\mathrm{d}y={\int }_{-\infty }^{\infty }y{f}_X(y)\mathrm{d}y \end{gathered}$$

• 函数替换

  若 $Y=g(X)$ 且 $g$ 为连续函数，则连续和离散型随机变量分别有：
  $$\begin{gathered} E(Y)=E[g(X)]=\sum _{k=1}^{\infty }g(x_k)p_k \\ E(Y)=E[g(X)]={\int }_{-\infty }^{\infty }g(x)f(x)\mathrm{d}x \end{gathered}$$
  若为随机向量的函数 $Z=g(X,Y)$ 且 $g$ 为连续函数，且 $(X,Y)\sim f(x,y)$ ，则：
  $$\begin{gathered} E(Z)=E[g(X,Y)]=\sum _{j=1}^{\infty }\sum _{i=1}^{\infty }g(x_i,y_j)p_{ij} \\ E(Z)=E[g(X,Y)]={\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }g(x,y)f(x,y)\mathrm{d}x\mathrm{d}y \end{gathered}$$

• 计算性质

  设 $C$ 为常数，$X_i$ 为随机变量。

  • $E(C)=C$

  • 线性组合的数学期望 = 数学期望的线性组合

    • $E(CX)=CE(X)$
    • $E(\sum X_i)=\sum E(X_i)$

  • 若 $X_i$ 相互独立，则：

    $E(\prod X_i)=\prod E(X_i)$

• 其它

  连续型随机变量的概率密度图像关于y轴对称时，其均值为0。

2. 方差

表达随机变量的取值对于其数学期望的偏离程度。

方差本身也是一种期望，其定义为
D ( X ) = V a r ( X ) = E { [ X − E ( X ) ] 2 } D(X) = Var(X) = E\{[X - E(X)]^2\} D(X)=Var(X)=E{[X−E(X)]2}
标准差/均方差
$$\sigma (X)=\sqrt{D(X)}$$
易得
$$\begin{gathered} D(X)=\sum _{k=1}^{\infty }[x_k-E(X){]}^2{p}_k \\ D(X)={\int }_{-\infty }^{\infty }[x-E(X){]}^{2}f(x)\mathrm{d}x \end{gathered}$$
计算中更常用
$$D(X)=E(X^2)-[E(X){]}^2$$

移项有
$$E(X^2)=D(X)+[E(X){]}^2$$

• 计算性质

  $a$ 为常数，

  1. $D(a)=0$

  2. $D(aX)=a^{2}D(X)$

  3. $D(X+b)=D(X)$

  4. 这里注意协方差项前的2

     D ( X ± Y ) = D ( X ) + D ( Y ) ± 2 E { [ X − E ( X ) ] [ Y − E ( Y ) ] } = D ( X ) + D ( Y ) ± 2 C o v ( X , Y ) \begin{aligned} D(X\pm Y) & = D(X) + D(Y) \pm 2E\{[X-E(X)][Y-E(Y)]\} \\ & = D(X) + D(Y) \pm 2Cov(X, Y) \\ \end{aligned} D(X±Y)​=D(X)+D(Y)±2E{[X−E(X)][Y−E(Y)]}=D(X)+D(Y)±2Cov(X,Y)​

  5. 若所有随机变量==相互独立==（协方差项为0），则
     $$D(\sum a_i{X}_i)=\sum a_i^{2}D(X_i)$$
     故线性组合的方差可以写成
     $$D(\sum a_i{X}_i+b)=\sum a_i^{2}D(X_i)$$

     （注意不论系数$a_i$是正是负，都会被平方为正数）

  6. $D(X)=0$ 的充要条件是
     P { X = E ( X ) } = 1 P\{X = E(X)\} = 1 P{X=E(X)}=1
     也即所有值都相同（没有偏离）。

• 切比雪夫不等式

  对均值为 $\mu$ 方差为 ${\sigma }^2$ 的随机变量 $X$，对于任意正整数 $\epsilon$ 有
  P { ∣ X − μ ∣ ≥ ε } ≤ σ 2 ε 2 P\{|X - \mu| \ge \varepsilon\} \le \frac{\sigma^2}{\varepsilon^2} P{∣X−μ∣≥ε}≤ε2σ2​
  或有
  P { ∣ X − μ ∣ < ε } ≥ 1 − σ 2 ε 2 P\{|X - \mu| \lt \varepsilon\} \ge 1 - \frac{\sigma^2}{\varepsilon^2} P{∣X−μ∣<ε}≥1−ε2σ2​
  切比雪夫不等式给出了在随机变量的分布未知的情况下，仅用均值和方差估计概率 P { ∣ X − μ ∣ ≥ ε } P\{|X - \mu| \ge \varepsilon\} P{∣X−μ∣≥ε} 界限的方法。

  

3. 协方差

• 协方差定义
  C o v ( X , Y ) = E { [ X − E ( X ) ] [ Y − E ( Y ) ] } Cov(X, Y) = E\{[X-E(X)][Y-E(Y)]\} Cov(X,Y)=E{[X−E(X)][Y−E(Y)]}

  对连续型变量可以有
  $$Cov(X,Y)={\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }(x-{\mu }_X)(y-{\mu }_Y)f(x,y)\mathrm{d}x\mathrm{d}y$$

• 常用计算方式

  将定义式展开可得
  $$Cov(X,Y)=E(XY)-E(X)E(Y)$$

• 计算性质：双线性

  1. $Cov(aX,bY)=abCov(X,Y)$
  2. $Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)$ ，对 $Y$ 同理

• 标准化变量

  任意均值为 $\mu$ 方差为 ${\sigma }^2\ne 0$ 的随机变量 $X$ 有线性替换
  $$X^{\ast }=\frac{X-\mu }{\sigma }$$
  得到的是一个 ${\mu }^{\ast }=0,{\sigma }^{\ast 2}=1$ 的随机变量 $X^{\ast }$

  （正态分布化为标准正态分布为典例）

  相关系数

  $${\rho }_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$$

  相关系数是消去了协方差的量纲的结果，是一个可用于比较的标准化值。

  可以从标准化变量替换得到
  $$\begin{gathered} X^{\ast }=\frac{X-E(X)}{\sqrt{D(X)}} \\ {Y}^{\ast }=\frac{Y-E(Y)}{\sqrt{D(Y)}} \\ Cov(X^{\ast },Y^{\ast })={\rho }_{XY} \end{gathered}$$

  （协方差可能为负，故相关系数也可能为负，需要判断的是相关系数的绝对值）

  • $|{\rho }_{XY}|\le 1$

  • $|{\rho }_{XY}|=1$ 的充要条件是 ∃ a , b , s . t . P { Y = a + b X } = 1 \exist a,b, s.t. P\{Y=a+bX\} = 1 ∃a,b,s.t.P{Y=a+bX}=1

  相关系数衡量的是两个参数之间的线性关系，系数绝对值越大线性关系越强。

  • 当 $|{\rho }_{XY}|=0$ 称 $XY$ 不相关。

• 当 $|{\rho }_{XY}|\ne 0$ 称 $XY$ 线性相关。

  • 当 $|{\rho }_{XY}|=1$ 称 $XY$ 严格线性相关。

  注意，这里的不相关是就线性关系而言，而相互独立是就一般关系而言。

  也即，不相关 $\nRightarrow$ 相互独立，相互独立 $\Rightarrow$ 不相关

  且有，线性相关 $\Rightarrow$ 不独立

  • 特别的，当 $(X,Y)\sim N({\mu }_1,{\mu }_2,{\sigma }_1,{\sigma }_2,\rho )$ ，两者不相关和相互独立是等价的，因为参数 $\rho$ 与相关系数相等。

4. 协方差矩阵

• 矩

  • $E(X^k)$：k阶原点矩（k阶矩）
  • E { [ X − E ( X ) ] k } E\{[X - E(X)]^k\} E{[X−E(X)]k}： k阶中心矩
  • $E(X^k{Y}^l)$：k阶混合矩
  • E { [ X − E ( X ) ] k [ Y − E ( Y ) ] l } E\{[X - E(X)]^k[Y - E(Y)]^l\} E{[X−E(X)]k[Y−E(Y)]l}：k阶混合中心矩

  可知2阶中心矩为方差，2阶混合中心矩为协方差。

• 协方差矩阵

  有n维随机变量 $(X_1,X_2,...,X_n)$，设各维的二阶混合中心矩都存在且表示为 $c_{ij}=Cov(X_i,X_j)$，则协方差矩阵为
  $$\mathbf{C}=\left(\begin{array}{cccc}{c}_{11}& c_{12}& \cdots & c_{1n}\\ c_{21}& c_{22}& \cdots & c_{2n}\\ ⋮& ⋮& & ⋮\\ c_{n1}& c_{n2}& \cdots & c_{nn}\end{array}\right)$$
  显然协方差矩阵为对称阵。