概率论完整知识汇总（值得收藏）

概率论只不过是把常识用数学公式表达了出来。

——拉普拉斯

一、随机事件与概率

1.样本空间

一个随机试验，每一个可能出现的结果称为一个样本点，全体样本点组成的集合称为样本空间（Ω）

例：抛一枚均匀硬币2次，正反面结果样本空间Ω={正正、正反、反正、反反}

2.基本事件

只有一个样本点的事件称为基本事件

3.事件之间的运算关系

$\mathrm{A}\subset \mathrm{B}$：事件A包含于事件B中

$\mathrm{A}=\mathrm{B}$：事件A与事件B相等

$\mathrm{A}\cup \mathrm{B}$：和事件，表示事件A、事件B至少有一个发生

$\mathrm{A}\cap \mathrm{B}$ ：积事件，表示事件A、事件B同时发生

$\mathrm{A}-\mathrm{B}$：差事件，表示仅A发生B不发生

$A\cap B=\varphi$：事件A、事件B同时发生的事件集合为空集，表示A、B为互斥事件，不会同时发生

因为事件$\bar{A}\cap \mathrm{A}=\varphi ,\bar{A}\cup \mathrm{B}=\Omega$，故$\bar{A}$、$A$互为对立事件（两事件互斥且他们共同组成全体样本空间）

4.独立事件

$P(AB)=P(A)\cdot P(B)$，两事件发生的概率互不影响，此时$P(A\mid B)=P(A)$，事件$B$的发生不影响$A$的发生（反之亦然）

注意区别

• 互斥事件：事件A、B不可能同时发生

• 独立事件：事件A的发生对事件B的发生没有影响（A、B必定可以同时发生）

5.条件概率

$B$发生的条件下$A$发生的概率：

$$P(A\mid B)=\frac{P(A\cdot B)}{P(B)}$$

变换：

$$P(AB)=P(A\mid B)\cdot P(B)$$

$\begin{array}{l}\text{ 应用条件概率公式的前提条件：A、B并非相互独立事件，事件B发生之后事件A发生的概率会受到影响, }\\ \mathrm{P}(\mathrm{A}\mid \mathrm{B})\text{ 可能大于 }\mathrm{P}(\mathrm{A})\text{ 也可能小于 }\mathrm{P}(\mathrm{A})\text{ 。尚若 }\mathrm{A},\mathrm{B}\text{ 相互独立，则 }\mathrm{P}(\mathrm{A}\mathrm{B})=\mathrm{P}(\mathrm{A})\cdot \mathrm{P}(\mathrm{B}),\text{ 因 }\\ \text{ 为此时P }(\mathrm{A}\mid \mathrm{B})=\mathrm{P}(\mathrm{A})\text{ 。 }\end{array}$

推广到三事件：
$$P(ABC)=P(C\mid AB)\cdot P(B\mid A)\cdot P(A)$$

6.古典概型（古典概率模型）

满足：

1). 样本点总数有限

2). 每个基本事件可能性相同

此时：

$$P(A)=\frac{n_A}{n}$$

几何概型：相当于样本点总数无限的“古典概型”

7.全概率公式

如果一个样本空间 $S$ 被 $B_1,B_2,B_3,\dots \dots ,B_n$ 这样的完备事件组划分，则:
$P(A)=P\left(A{B}_1\right)+P\left(A{B}_2\right)+\cdots +P\left(A{B}_n\right)$
$=P\left(A\mid B_1\right)\cdot P\left(B_1\right)+P\left(A\mid B_2\right)\cdot P\left(B_2\right)+\cdots +P\left(A\mid B_n\right)\cdot P\left(B_n\right)$

但实际情况有时候需要逆推模型，比如已知甲、乙、丙工厂各自的生产总数和次品率，现在我们拿到某件商品是次品，我们想要推测它更可能是哪个工厂生产的，这就要用到下面的贝叶斯公式

8.贝叶斯公式（逆概率公式）

起源：

在托马斯·贝叶斯提出该公式之前，人们只能够计算“正向概率”，比如已知袋中黑白球比例，假设随机摸一个球出来，计算它是黑球或白球的概率。但现实情况往往是相反的，因为现实世界是不确定的，我们一般只能观测到事物的表面现象，往往是“不知道袋子里黑白球的比例”，而要根据“摸出来的球的观测颜色”来推断“袋子里球”的情况，这个时候，我们就要根据观测数据Data，提出多个假设hypothesis，然后分别计算每个假设的可能性P(h|D)，最后取可能性最大的那个假设即可，这就是贝叶斯定理的核心思想。后来，贝叶斯方法席卷了概率论，并将应用延伸到各个问题领域，所有需要作出概率预测的地方都可以见到贝叶斯方法的影子，特别地，贝叶斯是机器学习的核心方法之一。

贝叶斯公式：
$$P(Bi\mid A)=\frac{P(BiA)}{P(A)}=\frac{P(A\mid Bi)\cdot P(Bi)}{{\sum }_{j=1}^{n}P\left(A\mid B_j\right)\cdot P(Bj)}$$
便于理解的形式:
$$P(h\mid D)=\frac{P(D\mid h)\cdot P(h)}{P(D)}$$
(h代表
hypothesis，即假设；D代表Data，即观测数据)

P(h|D)：h的后验概率

P(D)：D的先验概率

P(h)：h的先验概率

P(D|h)：D的似然性（h发生时D发生的可能性）

应用：

贝叶斯定理应用广泛，这里举一个“拼写纠正”的例子。

假如用户打字输入过程中手误打错了一个单词，打错之后是“tkp”，那么原本的单词可能是“top”、“tip”、“tap”等等，现在计算机输入法如何推断出更可能是哪一个呢？一个很容易想到的办法是分别计算出原单词是这些单词的情况下每个打错为tkp的概率（似然性），也就是P(打错为tkp|原单词为tip)、P(打错为tkp|原单词为tap)……全部计算出来之后比较大小即可得出结论，至于计算的方法，可以计算“编辑距离”，即根据字母之间在键盘上的位置距离来判断打错的概率。好了，似乎到这里问题就解决了，是这样吗？NO！上面的思路虽然没问题，但是计算方法是不够严谨的，因为我们只计算了似然性，而没有考虑先验概率（试想一下，如果某个单词通过上述计算得到的概率稍大，但该单词的词频非常低，是个罕见单词，几乎没人会使用，那这个结果靠谱吗）比如我们最后计算出来最可能有两个单词：“top”和“tip”，它们的似然性完全相同，那么我们要怎么比较呢？这个时候贝叶斯定理就要发挥作用了，我们需分别计算出tip和top先验概率：P(原单词为tip)和P(原单词为top)，也就是它们在全单词库中分别的词频，作为权值乘以之前计算出的似然性，得出的结果才是严谨的，这也正是贝叶斯公式的计算方法（这里我们之所以不考虑贝叶斯公式分母"P(观测到的结果)"的值，是因为上述都是在相同的观测结果“打错为tkp”下进行比较，故概率相同）

9.贝努里概型

在一个试验中，如果只关心事件A发生与否，称这个试验为贝努力试验；如果把贝努力试验独立重复做n次，则称为n重贝努力试验，此时主要研究A恰好发生k次的概率。

二项概率公式：
$$\begin{array}{l}{P}_n(k)=C_n^k{p}^{k(1-p{)}^{n-k}},k=0,1,\cdots ,n\\ \left({\sum }_{k=0}^n{p}_n(k)=[p+(1-p){]}^n=1\right)\end{array}$$
p：A发生的概率P(A)

二、离散型随机变量及其分布

1.概率函数（概率质量函数）

设 Ω x = { a 1 , a 2 , a 3 , ⋯   , a n , ⋯   } \Omega_{x}=\left\{a_{1}, a_{2}, a_{3}, \cdots, a_{n}, \cdots\right\} Ωx​={a1​,a2​,a3​,⋯,an​,⋯} 且 $P\left(x=a_i\right)=p_i$
其中 $p_i$ 满足：

(1). $p_i⩾0(i=1,2,\cdots )$

(2). ${\sum }_{i=1}^{\infty }{p}_i=1$

那么, 称 $p\left(x=a_i\right)=p_i,i=1,2,\cdots$ 为随机变量X的概率函数或概率质量函数。

联合概率函数（联合概率分布）：

一个随机试验的样本空间$\Omega$中每一个样本点是 $(X,Y)$, 表示为 $:$ P ( X = a i , Y = b j ) = P ( { X = a i } ∩ { Y = b j } ) = p i j P\left(X=a_{i}, Y=b_{j}\right)=P\left(\left\{X=a_{i}\right\} \cap\left\{Y=b_{j}\right\}\right)=p_{i j} P(X=ai​,Y=bj​)=P({X=ai​}∩{Y=bj​})=pij​
$,i=1,2,\cdots ,j=1,2,\dots$

$p_{ij}$ 满足:

(1). $p_{ij}⩾0$

(2). ${\sum }_i{\sum }_j{p}_{ij}=1$

2. 0-1分布

$X\sim B(1,p):X$ 服从参数为 $p$ 的0-1分布

概率函数: $P(X=k)=p^k\cdot (1-p{)}^{1-k},k=0,1$

k表示事件发生的状态（0或1），贝努利试验服从0-1分布，且0-1分布在大自然中很常见

3. 二项分布

$X\sim B(n,p):X$ 服从参数为 $n,p$ 的二项分布

概率函数：

$P(X=k)=C_n^k\cdot p^k\cdot (1-p{)}^{n-k},k=0,1,2,\dots ,n$

且 ${\sum }_{k=0}^n{C}_n^k\cdot p^k(1-p{)}^{n-k}=1$

k表示将事件X重复n次，其中状态为1的次数。n重贝努利试验服从二项分布

4.超几何分布

假设N个产品中有M个次品，随机从中取n个产品，所含的次品数X的概率函数为：
P ( X = k ) = C M k ⋅ C N − M n − k C N n , k = 0 , 1 , 2 , ⋯   , min ⁡ { M , n } P(X=k)=\frac{C_{M}^{k} \cdot C_{N-M}^{n-k}}{C_{N}^{n}}, k=0,1,2, \cdots, \min \{M, n\} P(X=k)=CNn​CMk​⋅CN−Mn−k​​,k=0,1,2,⋯,min{M,n}
这就是超几何分布。

当 $\mathrm{N}⟶\infty$ 时，超几何分布服从 $p=\frac{M}{N}$ 的二项分布，即：当产品总数非 常大时有放回抽样和无放回抽样近似相同。

5.泊松分布

对于二项分布B(n, p), 当n很大时计算难度会巨增（比如$C_{1000}^{50}\times 0.02^{50}\times 0.98^{950})$, 此时可以用 $\lambda =np$ 的泊松分布来代替，计算结果近似相同。

$X\sim P(\lambda ):X$ 服从参数为 $\lambda$ 的泊松分布

概率函数: $P(X=k)=\frac{{\lambda }^k}{k!}\cdot e^{-\lambda },k=0,1,2,\cdots ,\lambda =np$

泊松分布一般用来表示单位时间内随机事件发生的次数，比如汽车站台的候客人数、机器出现的故障数、自然灾害发生的次数等等，参数λ是单位时间内随机事件的平均发生率。

6.几何分布

$$\begin{array}{cccccc}\mathrm{X}& 1& 2& 3& \cdots \cdot \cdot & \mathrm{k}\\ \mathbf{P}& \mathrm{p}& \mathrm{p}(1-\mathrm{p})& \mathrm{p}(1-\mathrm{p}{)}^2& \cdots \cdots & \mathrm{p}(1-\mathrm{p}{)}^{\mathrm{k}-1}\end{array}$$

应用举例：运动员连续射门，每次射中的概率都为p，到射中为止射门的总次数为k，计算概率P

7.均匀分布（离散型）

P ( X = a i ) = 1 n , X ∈ { a 1 , a 2 , ⋯   , a n } P\left(X=a_{i}\right)=\frac{1}{n}, X \in\left\{a_{1}, a_{2}, \cdots, a_{n}\right\} P(X=ai​)=n1​,X∈{a1​,a2​,⋯,an​}

8.边缘概率函数

对于联合分布 $(X,Y)$：

$$P\left(X=a_i\right)=\sum _j{p}_{ij}=p_i,i=1,2,\dots$$

具有可加性的分布：

1). 二项分布

当 $X\sim B(n,p),Y\sim B(m,p)$ 时:
$X+Y\sim B(m+n,p)$

2). 泊松分布
当 $X\sim P\left({\lambda }_1\right),Y\sim P\left({\lambda }_2\right)$ 时:
$X+Y\sim P\left({\lambda }_1+{\lambda }_2\right)$

3). 正态分布 当 $X\sim N\left({\mu }_1,{\sigma }_1^2\right),Y\sim N\left(\mu 2,{\sigma }_2^2\right)$ 时
$X+Y\sim N\left({\mu }_1+{\mu }_2,{\sigma }_1^2+{\sigma }_2^2\right)$

4). 卡方分布
当 $X\sim X^2(m),Y\sim X^2(n)$ 时:
$X+Y\sim X^2(m+n)$

三、连续型随机变量及其分布

在实际问题中，对于几何概型，我们通常不关注它取某个值的概率，而关心它落在某个区间的概率。

1.分布函数（累计分布函数）

定义: 对于随机变量 $X\in (-\infty ,+\infty ),F(x)=P(X⩽x)$

（该定义对随机变量类型不作约束）

推广: 对任意 $-\infty <a<b<+\infty$, 总有 $P(a<x\le b)=F(b)-F(a)$

定理：对任意随机变量X，其分布函数在 $x=x_0$ 处连续的充分必要条件是：$P(x=x_0)=0$（因此离散型随机变量必然不连续）

2.概率密度函数

对于随机变量X的分布函数F(x)，若存在 $f(x)$ 使得 ：$F(x)={\int }_{-\infty }^{x}f(t)dt,x\in (-\infty ,+\infty )$

那么 $f(x)$ 称为随机变量X的概率密度函数

判断一个函数是否可以表示概率密度函数的两原则：

(1) .$f(x)\ge 0,x\in (-\infty ,+\infty )$

(2). ${\int }_{-\infty }^{+\infty }f(x)dx=1$

3.连续型随机变量的性质

1). 分布函数 $F(x)$ 是连续函数，且在概率密度函数 $f(x)$ 的连续点处，有 $F^{\prime }(x)=$ $f(x)$

2). 对任意常数 $c(-\infty <c<+\infty )$, 有 $P(X=c)=0$

（注意：0概率事件不一定是不可能事件。比如公交车的到站时间是一个连续型随机变量，其中“2点整到站”是单个点，根据上述性质，它的概率等于0，但它并不是不可能事件，只是概率无穷小。由于人类测量精度的制约（不管是时间精度、距离精度等等），让此类事件看似很可能发生，但其实如果人类测量精度能够达到小数点后无穷位，那么例如“公交车2点整到站”此类事件几乎是不可能发生的，概率无穷小，接近于0。这是因为对于连续型随机变量，样本空间是无穷大的，所以单点概率只能无穷小）

3). 对任意的a、 $\mathrm{b}$, 有:
$P(a<x⩽b)=F(b)-F(a)={\int }_a^{b}f(x)dx$

关于概率密度函数与概率的关系:
$P(x<x⩽x+\Delta x)=F(x+\Delta x)-F(x)\approx f(x)\cdot \Delta x$

其中当 $\Delta x$ 无穷小时，约等号变为等号。概率密度函数与概率的关系犹如一根粗细不均的线的线密度与质量的关系：线上每一点都有对应的线密度，线的质量同这个密度值成正比，如果要求某段长度的质量，必须对这段长度上每一点的密度进行积分，反之，每一点的密度表示该点处质量变化的慢（导数）。

4.均匀分布（连续型）

$X\sim R(a,b):X$ 服从区间 $(a,b)$ 上的均匀分布

概率密度函数：

$$f(x)=\{\begin{array}{ll}0,& x⩽a\\ c& ,a<x<b\\ 0& ,x⩾b\end{array}$$

其中，根据 $f(x)$ 在($-\infty$, $+\infty )$ 定积分 $($ 面积 $)$ 为1可得: $c=\frac{1}{b-a}$

图像：

分布函数：

$$F(x)=\{\begin{array}{cc}0& x<a\\ \frac{x-a}{b-a}& a\le x<b\\ 1& x\ge b\end{array}$$

图像：

5.指数分布

$X\sim E(\lambda )(\lambda >0):X$ 服从参数为 $\lambda$ 的指数分布

概率密度函数:

$f(x)=\{\begin{array}{cl}\lambda e^{-\lambda x}& ,x>0\\ 0& ,x⩽0\end{array}$

图像：

分布函数：
$$f(x)=\{\begin{array}{cl}\lambda e^{-\lambda x}& ,x>0\\ 0& ,x⩽0\end{array}$$
图像：

指数分布一般用来表示独立随机事件发生的时间间隔，比如乘客进入汽车站的时间间隔、自然灾害发生的时间间隔、机器的寿命（即正常机器到损坏的时间间隔，但这里只限于短时间内，因为长时间使用的机器有记忆性）。泊松过程中第k次事件和k+1次事件发生的时间间隔服从指数分布。

指数分布具有无记忆性, 即:

$P(T>s+t\mid T>t)=P(T>s)$ for all $s,t\ge 0$

泊松分布、几何分布也具有无记忆性，比如几何分布可以用来解释“奢徒心 理"：连输10把的情况下, 奢徒认为第11把贏的概率会很大, 但事实是, 如 果用 $X$ 表示第几把会贏，那么 $P(X=11\mid X>10)=P(X=1)$

6.正态分布

世间万物最主要服从的分布是正态分布

$X\sim N\left(\mu ,{\sigma }^2\right):X$ 服从均值为 $\mu$, 方差为 ${\sigma }^2$ 的正态分布

概率密度函数：
$$f(x)=\frac{1}{\sigma \sqrt{2\pi }}{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$$

分布函数的表达式一般不常用，图像是：

特征:

1). $x=\mu$ 时, 有 $f(x{)}_{\max }=\frac{1}{\sigma \sqrt{2\pi }}$

2). $\mu$ 决定图像的左右位置, ${\sigma }^2$ 决定图像的高矮。方差 ${\sigma }^2$ 越大，分布越离 散，曲线越平坦; 方差 ${\sigma }^2$ 越小，分布越集中，曲线越陡肖。

标准正态分布：

当 $\mu =0,{\sigma }^2=1$ 时

概率密度函数： $\phi (x)=\frac{1}{\sqrt{2\pi }}\cdot e^{-\frac{x^2}{2}}$

分布函数： $\varphi (x)={\int }_{-\infty }^x\phi (t)dt,-\infty <x<+\infty$

用途：对于标准正态分布，已知 $\varphi (x)$ 时可以查阅标准正态分布函数表得出
$x$ (反之亦可) 。即，如下图中，已知 $p$ (概率），便可得出u ${}_p$ (分位数) , 使满足: $\varphi \left(u_p\right)={\int }_{-\infty }^{u_p}\phi (x)dx=p\left(X⩽u_p\right)=p$

正态分布和标准正态分布的计算转化：

已知 $X\sim N\left(\mu ,{\sigma }^2\right)$, 那么:

$P(X⩽a)=\varphi \left(\frac{a-\mu }{\sigma }\right)$, 即 $P(X>a)=1-\varphi \left(\frac{a-\mu }{\sigma }\right)$

因此: $P(a<X⩽b)=\varphi \left(\frac{b-\mu }{\sigma }\right)-\varphi \left(\frac{a-\mu }{\sigma }\right)$ ，可用来方便地求解非标准正态分布的概率计算问题

7.联合分布函数

对于二维随机变量 $(X,Y)$ 的联合分布函数为 :
$F(x,y)=P(X⩽x,Y⩽y),-\infty <x,y<+\infty$

计算方法：

如下图, $F(x,y)=P((X,Y)\in Dxy)={\int }_{-\infty }^x{\int }_{-\infty }^{y}f(x,y)dxdy$

性质：

1). $0⩽F(x,y)⩽1$

2). $F(x,y)$ 关于 $x$ 或 $y$ 单调不减

3). $F(x,y)$ 关于 $x$ 或 $y$ 右连续

4). ${\lim }_{x,y\to -\infty }F(x,y)=0{\lim }_{x,y\to +\infty }F(x,y)=1$

5). $\forall x_1<x_2,y_1<y_2:$
$P\left(x_1<X⩽x_2,y_1<Y⩽y_2\right)$
$=F\left(x_2,y_2\right)-F\left(x_1,y_2\right)-F\left(x_2,y_1\right)+F\left(x_1,y_1\right)$

8.联合概率密度函数

若 $f(x,y)$ 满足：

1). $f(x,y)⩾0$

2). $F(x,y)={\int }_{-\infty }^x{\int }_{-\infty }^{y}f(u,v)dudv,-\infty <x,y<+\infty$

3). ${\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }f(x,y)dxdy=1$

那么 $f(x,y)$ 是二维随机变量 $(X,Y)$ 的联合概率密度函数

性质:

1). $F(x,y)$ 连续, 且在 $f(x,y)$ 的连续点处有: $\frac{{\partial }^{2}F(x,y)}{\partial x\partial y}=f(x,y)$

2). 对于平面内任意一曲线L: $P((X,Y)\in L)=0$

3). 对于平面内任意一集合D:
$P((X,Y)\in D)={\iint }_{D}f(x,y)dxdy$

四、随机变量的数字特征

1.数学期望（均值）

数学期望（Expectation）是试验中每次可能的结果乘以其概率的总和，也就是是该随机变量输出值的加权平均。它的意义是，一个随机试验在同样的机会下重复多次，所有可能状态平均的结果，便基本上等同“期望值”所期望的数。大数定律规定，随着重复次数接近无穷大，结果数值的算术平均值一定收敛于期望值。

1). 对于离散型随机变量：
$$E(X)=\sum _i{a}_i{p}_i$$
2). 对于连续型随机变量：
$$E(X)={\int }_{-\infty }^{+\infty }xf(x)dx$$
3). 常用分布的期望和方差

离散型：

• $X\sim B(1,p)$（0—1分布 ）：$E(X)=p$ $D(X)=p(1-p)$
• $X\sim B(n,p)$（二项分布）：$E(X)=np$ $D(X)=np(1-p)$
• $X\sim P(\lambda )$（泊松分布）：$E(X)=\lambda$ $D(X)=\lambda$

连续型：

• $X\sim R(a,b)$（均匀分布）：$E(X)=\frac{a+b}{2}$ $D(X)=\frac{(b-a{)}^2}{12}$

• $X\sim E(\lambda )$（指数分布）：$E(X)=\frac{1}{\lambda }$ $D(X)=\frac{1}{{\lambda }^2}$

• $X\sim N\left(\mu ,{\sigma }^2\right)$（正态分布）：$E(X)=\mu$ $D(X)={\lambda }^2$

  
  

3). 二维随机变量的期望

(1). 对于离散型随机变量$(X,Y)$，已知$P\left(X=a_i,Y=b_j\right)=p_{ij}i,j=1,2,...$

若$Z=g(X,Y)$是$X、Y$的函数，则：

$E(Z)={\sum }_{i,j}g\left(a_i,b_j\right)\cdot p_{ij}$

(2). 对于连续型随机变量$(X,Y)$，已知$f(x,y)$为它的联合概率密度函数

若$Z=g(X,Y)$是$X、Y$的函数，则：

$E(Z)={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }g(x,y)f(x,y)dxdy$

4). 期望的性质

(1). 假设$k,l,c$都是常数，则：

$E(k\cdot X+l\cdot Y+c)=k\cdot E(X)+l\cdot E(Y)+c$

(2). 当$(X,Y)$相互独立时：

$E(XY)=E(X)\cdot E(Y)$

2.协方差和方差

协方差（Covariance）用于衡量两个随机变量的联合变化程度。如果变量X的较大值主要与另一个变量Y的较大值相对应，而两者的较小值也相对应，那么两个变量为正相关，协方差为正，反之协方差为负。也就是说协方差的正负符号反映两变量的相关性。而协方差的数值大小因取决于具体变量的大小。

定义和计算：

cov ⁡ ( X , Y ) = E { [ X − E ( X ) ] [ Y − E ( Y ) ] } = E ( X Y ) − E ( X ) E ( Y ) \operatorname{cov}(X, Y)=E\{[X-E(X)][Y-E(Y)]\}=E(X Y)-E(X)E(Y) cov(X,Y)=E{[X−E(X)][Y−E(Y)]}=E(XY)−E(X)E(Y)

方差（Deviation Var）用来描述一个随机变量的离散程度，是随机变量中每个值与随机变量平均值之差的平方的平均值，相当于两个相同随机变量之间的协方差。

定义和计算：

$D(X)=\mathrm{cov}(X,X)=E\left\{[X-E(X){]}^2\right\}=E\left(X^2\right)-E^2(X)$

协方差和方差的一些性质：（假设$a、b、c$为常数）

1). $D(aX\pm bY)=a^{2}D(X)+b^{2}D(Y)\pm 2ab\cdot \mathrm{cov}(X,Y)$

2). 当$X、Y$相互独立时：$\mathrm{cov}(X,Y)=0$（反之不一定成立）

3). $\mathrm{cov}(X,c)=0$

4). $\mathrm{cov}(aX,bY)=ab\cdot \mathrm{cov}(X,Y)$

5). $\mathrm{cov}\left(X_1+X_2,Y_1+Y_2\right)=\mathrm{cov}\left(X_1,Y_1\right)+\mathrm{cov}\left(X_1,Y_2\right)+\mathrm{cov}\left(X_2,Y_1\right)+\mathrm{cov}\left(X_2,Y_2\right)$

6). $D(aX\pm bY\pm c)=a^{2}D(X)+b^{2}D(Y)\pm 2ab\cdot \mathrm{cov}(X,Y)$

3.常用分布的期望和方差

离散型：

• $X\sim B(1,p)$（0—1分布 ）：$E(X)=p$ $D(X)=p(1-p)$
• $X\sim B(n,p)$（二项分布）：$E(X)=np$ $D(X)=np(1-p)$
• $X\sim P(\lambda )$（泊松分布）：$E(X)=\lambda$ $D(X)=\lambda$

连续型：

• $X\sim R(a,b)$（均匀分布）：$E(X)=\frac{a+b}{2}$ $D(X)=\frac{(b-a{)}^2}{12}$
• $X\sim E(\lambda )$（指数分布）：$E(X)=\frac{1}{\lambda }$ $D(X)=\frac{1}{{\lambda }^2}$
• $X\sim N\left(\mu ,{\sigma }^2\right)$（正态分布）：$E(X)=\mu$ $D(X)={\lambda }^2$

4.皮尔森相关系数

皮尔森相关系数（Pearson product-moment correlation coefficient）用于度量两个变量X和Y之间的线性相关程度，其值介于-1与1之间。它的定义式：
$$\rho (X,Y)=\frac{\mathrm{cov}(X,Y)}{\sqrt{D(X)\cdot D(Y)}}$$
当它的值$\rho (X,Y)=\pm 1$时，说明变量X、Y呈线性关系（1为正相关，-1为负相关），且线性相关程度随着$|\rho (X,Y)|$减小而减小，当$\rho (X,Y)=0$时，X、Y线性无关，此时：$E(XY)=E(X)\cdot E(Y)$，$D\left(XY\right)=D(X)\pm D(Y)$

皮尔森相关系数表示的意义意义如下图，这是几组(X, Y)的点集，以及各个点集中X和Y之间的相关系数。我们可以发现相关系数反映的是变量之间的线性关系和相关性的方向（第一排），而不是线性相关的斜率（中间），也不是各种非线性关系（第三排）。注意：中间的图中斜率为0，但相关系数是没有意义的，因为此时变量Y是0

性质：

(1). 若$X,Y$满足$Y=aX+b$，则$\rho =\frac{a}{|a|}$

(2). $|\rho (X,Y)|\le 1$

(3). $|\rho (X,Y)|=1$的充要条件是：存在不为0的常数$a、b$使得$P(Y=aX+b)=1$

(4). 当$X、Y$相互独立时，$X、Y$必定不相关，此时$\rho (X,Y)=0$。反之不成立，但它的逆否命题成立：当$X、Y$相关时，$X、Y$一定不独立，$\rho (X,Y)\ne 0$

五、大数定理和中心极限定理

1. 依概率收敛

设 $X_1,\cdots ,X_n,\cdots$ 是随机变量序列, 如果存在 一个常数 $c$, 使得对任意一个 $\epsilon >0$, 总有
$$\underset{n\to \infty }{\lim }P\left(\left|X_n-c\right|<\epsilon \right)=1$$
那么称序列 { X n ∣ n = 1 , 2 , 3 , ⋯   } \left\{X_{n} \mid n=1,2,3, \cdots\right\} {Xn​∣n=1,2,3,⋯} 依概率收敘于 $c$, 记作
$$X_n\stackrel{P}{⟶}c$$
或等价地
$$\underset{n\to \infty }{\lim }P\left(\left|X_n-c\right|\ge \epsilon \right)=0.$$

2.独立同分布下的大数定律

大数定律是用来描述独立同分布下趋近无穷多次数重复实验的结果的定律。大数定律指出，在试验条件不变时，重复试验多次，随机事件的频率就近似于它的概率，也即偶然中包含着某种必然。根据大数定律，当样本数量趋于无穷大，其算术平均值就会无限接近期望值。

设 $X_1,\cdots ,X_n,\cdots$ 是独立同分布的随机变量序列, 并且 $E\left(X_1\right)=\mu ,D\left(X_1\right)={\sigma }^2$, 则
$$\bar{X}\triangleq \frac{1}{n}\sum _{i=1}^n{X}_i\stackrel{P}{⟶}\mu$$
因为 $E(\bar{X})=\mu$, 所以上式也可写成
$$\bar{X}\stackrel{P}{⟶}E(\bar{X})$$
也即
$$\underset{n\to \infty }{\lim }P(|\bar{X}-\mu |\ge \epsilon )=0$$

3.独立同分布下的中心极限定理

大数定律揭示了大量随机变量的平均结果，但没有涉及到随机变量的分布的问题。而中心极限定理则指：在一定条件下，大量独立随机变量的均值经适当标准化后依分布收敛于正态分布。

中心极限定理是概率论中最著名的结果之一。它提出大量的独立随机变量之和具有近似于正态的分布。因此，它不仅提供了计算独立随机变量之和的近似概率的简单方法，而且有助于解释为什么有很多自然群体的经验频率呈现出钟形(即正态)曲线这一事实，因此中心极限定理这个结论使正态分布在数理统计中具有很重要的地位，也使正态分布有了广泛的应用。

设独立同分布的随机变量序列 $X_1,X_2,\cdots ,X_n,\cdots$, 且 $E\left(X_i\right)=\mu ,D\left(X_i\right)={\sigma }^2\ne 0$, 则对任意的实数
$x\in (-\infty ,+\infty )$, 总有
$$\underset{n\to \infty }{\lim }P\left(\frac{{\sum }_{i=1}^n{X}_i-n\mu }{\sqrt{n{\sigma }^2}}\le x\right)=\Phi (x)$$
注意

(1). 为了便于理解，上式可以看作：$P(x⩽a)\approx \varphi (a)$，也即把上式中$x$看作常数，真正的变量为括号中左半部分。

(2). 实际问题计算中不需要$n\to \infty$，$n$取任意较大的数即可。

性质

(1). 假设有：
$$Y=\frac{{\sum }_{i=1}^n{X}_i-n\mu }{\sqrt{n{\sigma }^2}}$$
那么：
$$Y\stackrel{n\to \infty }{⟶}N(0,1)$$
(2). 假设有：
$$Z=\sum _{i=1}^n{X}_i$$
那么：
$$Z\stackrel{n\to \infty }{⟶}N\left(n\mu ,n{\sigma }^2\right)$$
所以, (1)式也可以写成：
$$Y=\frac{Z-E(Z)}{\sqrt{D(Z)}}\stackrel{n\to \infty }{⟶}N(0,1).$$