算法分析与设计学习（2）——概率论

概率论

事件和概率

• 概念

  • 样本空间：一个随机试验的所有可能结果组成的集合，标记为 $S$​。

  • 事件： $S$的一个子集 $A$，$A\subseteq S$​​，称为事件。

  • 事件计算

    • $A\cup B$， $A$ 与 $B$ 的并，即发生 $A$ 或 $B$​ 或者两者都发生。
    • $A\cap B$， $A$ 与 $B$ 的交，即 $A$ 与 $B$​ 都发生。
    • $A^c$， $A$ 的补，即 $A$ 不发生
    • $A/B$， $A$ 与 $B$ 的差，即 $A$ 发生， $B$​ 不发生。
    • $\varphi$​，空集，不可能时间

  • 概率公理：满足以下3个条件的函数称为概率函数。

    • $0\le P(A)\le 1$

    • $P(S)=1$

    • 如果 $A_1{A}_2{A}_3\dots$ 是一系列两两无关的事件，即对于任何 $i,j,i\ne j,A_i\cap A_j=\varphi ,$​则
      $$P\left(\bigcup _{k=1}^{\infty }{A}_k\right)=\sum _{k=1}^{\infty }P(A_k)$$

  • 条件概率：令 $B$ 为一个事件满足 $P(B)>0$，对于任一事件 $A$ ，定义 $A$ 的关于 $B$​ 的条件概率。
    $$P(A|B)=\frac{P(A\cap B)}{P(B)}$$

  • 独立

    • 如果 $A,B$，满足$P(A\cap B)=P(A)P(B)$，称 $A,B$​ 独立。
    • 且可以推出 $P(A)=P(A|B)$。

• 性质

  • 概率的加法公式：$P(A\cup B)=P(A)+P(B)-P(A\cap B)$

  • 并的界：$P(A\cup B)\le P(A)+P(B)$

  • 全概率公式：设 $B_1{B}_2{B}_3\dots B_n$ 是样本空间 $S$ 中互不相交的一系列事件，并且满足 $S={\cup }_{k+1}^n{B}_k$，那么对于任意事件 $A$
    $$P(A)=\sum _{k=1}^{n}P(A|B_k)P(B_k)$$

期望和方差

• 概念

  • 随机变量：
    • 在样本空间 $S$ 上的一个随机变量 $X$ 是 $S$ 上的一个取值为实数的函数。只取有限个或者可数无穷多个值的随机变量称为离散随机变量。
  • 数学期望
    • 对于取值有限的离散型随机变量 $X$ ，假设 $X$ 有概率分布 $p_j=P(X=x_j)$，则称 $E(X)={\sum }_{j=1}^n{x}_j{p}_j$ 为 $X$ 的数学期望，其中 $n$ 为 $X$ 不同取值的个数。
  • 方差
    • 定义离散随机变量 $X$ 的方差为 $\mathrm{var}(X)=E(X-E(X){)}^2$。
    • 称 ${\sigma }_x=\sqrt{\mathrm{var}(X)}$ 为 $X$ 的标准差。

• 性质

  • 期望的线性性：对于任意一组有限个离散随机变量来说 $X_1{X}_2\dots X_n$
    $$E\left(\sum _{i=1}^n{x}_i\right)=\sum _{i=1}^{n}E(x_i)$$

  • 如果 $X$ 和 $Y$​ 是两个独立的随机变量，那么 $E(XY)=E(X)E(Y)$

  • 马尔科夫不等式

    • 假设 $X$ 是只取非负数值的随机变量，对于任意 $a>0$​，有
      $$P(X\ge a)\le \frac{E(X)}{a}$$

  • 切比雪夫不等式

    • 对任意随机变量 $X$ 及任意 $a>0$​，有
      $$P\left(\right|X-E(X)|\ge a)\le \frac{\mathrm{var}(X)}{a^2}$$

• 概率分布

  • 二项分布

    • 概率函数
      $$p(k)=\left(\begin{array}{c}n\\ k\end{array}\right)p^k(1-p{)}^{n-k}$$
      称为以 $n,p$ 为参数的二项分布。

    • 数学期望
      $$E[X]=E_1[X]+\cdots +E_n[X]=n(0\times (1-p)+1\times p)=np$$

    • 方差
      $$\mathrm{var}[X]=np(1-p)$$

  • 几何分布

    • 概率函数
      $$p(k)=p(1-p{)}^{k-1}$$
      称为以 $p$ 为参数的几何分布

    • 数学期望
      $$E[X]=p+(1-p)(E[X]+1)\Rightarrow E[X]=\frac{1}{p}$$

    • 方差
      $$\mathrm{var}[X]=\frac{1-p}{p^2}$$