概率论与数理统计精要-CSDN博客

本文链接：https://blog.csdn.net/Albert__Einstein/article/details/124982898

1.随机事件

自然界的两类现象：

必然现象：结果事先可预知

随机现象：结果事先不可预知

随机事件：随机现象在相同的条件下，大量重复试验中呈现的规律性称为统计规律性

随机试验：对随机现象所做的观察、测量等试验统称为随机试验，简称试验，用 $E$ 表示，具有如下特点：

（1）可以在相同条件下重复进行；

（2）所有可能结果不止一个，且事先已知；

（3）每次试验总是出现可能结果之一，但出现哪一个，试验前不能确定.

基本事件（样本点）：随机试验的每一个可能结果，用 $e$ 表示.

样本空间：基本事件或样本点的全体构成的集合，用 $S$ 表示.

随机事件：样本空间 $S$ 的某个子集 $A$ 称为随机事件，简称事件 $A$ .

当且仅当 $A$ 中某个样本点出现，称事件 $A$ 发生.

事件 $A$ 可以用语言表示，也可以用集合表示.

必然事件：样本空间 $S$ 包含所有的基本事件，故在每次试验中都发生，因此称为必然事件.

不可能事件： $\varnothing$ 不包含任何基本事件，故在每次试验中不发生因此称为不可能事件.

2.事件关系与运算

事件的包含：

（1） $A \subset B$ : 事件 $A$ 发生必导致事件 $B$ 发生.

事件的相等

（2） $A=B < > \left\{\begin{matrix}A\supset B \\ A\subset B \end{matrix}\right.$

事件的积:

(3) $A\cap B$ ：事件 $A$ 与 $B$ 同时发生，简记 $AB$ ;

推广 $\bigcap_{i}^{n}A_i=A_1A_2\cdots$ 事件 $A_1A_2\cdots A_n$ 同时发生。

互不相容事件（互斥事件）:

（4） $AB=\varnothing$ : $A$ 与 $B$ 不能同时发生.

推广：n个事件 $A_1A_2\cdots A_n$ 互斥的充分必要条件是任两个事件互斥.

事件的和（并）

(5) $A\cup B$ ：事件 $A$ 与 $B$ 至少有一个发生，当 $AB=\varnothing$ : $A\cup B = A+B$ .

事件的差:

（6） $A - B$ ： $A$ 发生而 $B$ 不发生.

对立事件（逆事件）

（7） $\bar{A}$ : 由 $A$ 不发生所构成的事件.

事件的运算性质

交换律: $A\cup B=B\cup A ,AB=BA;$

结合律: $(A\cup B)\cup C=A\cup ( B\cup C),(AB)C=A(BC)$

分配律: $(A\cup B)C=(AC)\cup (BC),(AB)\cup C=(A\cup C)(B\cup C)$

对偶原则（德—摩根律）： $\bar{A\cup B} = \bar{A}\bar{B}$ , $\bar{AB} = \bar{A} \cup \bar{B}$

3.古典概率

概率:表示事件 $A$ 发生可能性大小的数值，称为事件 $A$ 的概率，记为 $P(A)$ ;概率是随机事件的函数.

古典概率的定义:

若试验的样本空间 $S$ 满足：

只有有限个样本点 — 有限性，

每个样本点发生的可能性相等 — 等可能性.

称此试验为古典概型试验.

古典概率的计算公式:

在古典概型下，事件 $A$ 的概率定义为：

$p(A)=\frac{A所含样本点数}{S含样本点总数}$

这里计算样本点数的主要工具是排列、组合.

加法原理

设完成一件事有 $m$ 种方式

第一种方式有 $n_1$ 种方法，

第二种方式有 $n_2$ 种方法，

……

第 $m$ 种方式有 $n_m$ 种方法，

则完成这件事总共有 $n_1 + n_2 + ... + n_m$ 种方法 .

乘法原理

设完成一件事必须经过 $r$ 个步骤，

第一个步骤有 $n_1$ 种方法，

第二个步骤有 $n_2$ 种方法，

第三个步骤有 $n_3$ 种方法，

……

第 $r$ 个步骤有nr种方法.

则完成这件事总共有 $n_1 ×n_2 × ... × n_r$ 种方法 .

排列和组合的区别

顺序不同是不同排列，组合不管顺序

元素无重复排列

(1)将 $n$ 个不同元素按照一定次序排成一列，称为全排列,全排列的个数为

$n!=n(n-1)(n-2) ...2 *1$

元素无重复排列

(2)从 $n$ 个不同元素中任取 $k$ 个 $(1 < k \leq n)$ 元素排成一列，不同的排列总数为

$A_{n}^{k}=n(n-1)(n-2)(n-k+1)=\frac{n!}{(n-k)!}$

$k = n$ 时，则为全排列

$A_{n}^{k}=n(n-1)(n-2)...2*1=n!$

元素允许重复的排列

(3)从 $n$ 个不同元素中取 $k$ 个 $(1 \leq k \leq n)$ 排成一列, (元素允许重复)不同排列的总数为

$n*n...n=n^{k}$

组合

(1)组合:从 $n$ 个不同元素中取 $(1 \leq k \leq n)$ 个元素组成一组,(无次序)称为一个组合,所有组合的个数为

$C_{n}^{k}=\frac{A_{n}^{k}}{k!}=\frac{n!}{(n-k)!k!}=C_{n}^{n-k}$

(2) $n$ 个不同元素分为 $k$ 个 $(1 \leq k \leq n)$ 不同组，每组元素个数分别为 $r_1,r_2,...,r_k$ 个的分法总数为

$C_{n}^{r1}\cdot C_{n}^{r2}\cdot C_{n}^{r3}\cdot \cdot \cdot =\frac{n!}{r1!r2!r3!\cdot \cdot \cdot rk!}$

其中 $r_1+r_2+r_3+\cdot \cdot \cdot r_k=n$

古典概率的性质

(1) $0 \leq P(A) \leq 1$ ;

(2) $P(S)=1;$

(3) 若事件 $A,B$ 互斥，则 $P(A+B)=P(A)+P(B)$ ;

推广：若 $A_1,A_2,...,A_n$ 互斥，则： $P(A_1+ A_2 ...+A_n )= P(A_1) P(A_2) ...+P(A_n)$ .

这是概率的加法公式或概率的有限可加性

(4) $P(\bar{A}) =1 - P(A)$ ;

(5) $P( \varnothing ) =0$ ;

(6)若 $A \sqsubset B$ ,则 $P(A)<= P(B)$ ,且 $P(B - A)= P(B)- P(A)$

(7) （一般概率加法公式）

$P(A \cup B) = P(A) + P(B) - P(AB)$

推广：

$P(ABC)=P(A)+P(B)+P(C)-P(AB)-P(AC)-P(BC)+P(ABC)$

4.几何概率

几何概率;

定义向一区域 $S$ (可以是直线区域、平面区域或空间区域)中掷一质点 $M$ ，若 $M$ 必落在 $S$ 内，且落在 $S$ 内任何区域 $A$ 上的可能性只与A的度量(如长度，面积， „)成正比，而与 $A$ 的位置和形状无关，则这个试验称为几何概型试验；定义 $M$ 落在 $A$ 中的概率 $P(A)$ 为

$P(A)=\frac{L(A)}{L(S)}$

特点：样本空间满足

有无穷多个样本点 — 无限性，

每个样本点发生的可能性相等 — 等可能性.

几何概率的性质
(1) $0 \leq P(A) \leq 1$ ;

(2) $P(S)=1$ ;

(3) 若 $A_1,A_2,...,A_n$ 互斥，则： $P(A_1+A_2...+ A_n ) = P(A_1) +P(A_2) ... + P(A_n)$

古典概率的其它性质对几何概率也同样成立

5.统计概率

频率

定义设 $A$ 为某一试验的事件，将试验在相同的条件下重复进行 $n$ 次，用 $m$ 表示 $A$ 出现的次数，则

$f_{n}(A)=\frac{m}{n}$

称为事件 $A$ 的相对频率.

频率的稳定性

在充分多次试验中，事件的频率总在一个定值附近摆动，而且，试验次数越多摆动越小.这个性质叫做频率的稳定性

统计概率

定义:在固定条件下，重复做 $n$ 次试验，如果当 $n$ 增大时，事件 $A$ 出现的频率 $f_n(A)$ 围绕着某一个常数 $p$ 摆动；随着 $n$ 的增大，这种摆动的幅度越来越小，则称常数 $p$ 为事件 $A$ 的概率，即

$P(A) = p$

此定义适合于一切类型的试验.

当n充分大时，频率作为概率的近似值，即

$f_{n}(A)=\frac{m}{n}\approx p(A)$

足以满足实际需要.

频率的性质

(1) $0 <=fn (A) <= 1$ ;

(2) $f_n (S) = 1$ ;

(3) 若 $A_1,A_2,...,A_k$ 互斥，则： $f_n (A_1 + A_2...+ A_k ) = f_n (A_1 )+f_n (A_2 ).. +f_n (A_k)$

统计概率的性质
(1) $0 \leq P(A) \leq 1$ ;

(2) $P(S)=1$ ;

(3) 若 $A_1,A_2,...,A_n$ 互斥，则： $P(A_1+A_2 ..+ A_n) = P(A_1) +P(A_2).. P(A_n)$

古典概率的其它性质对统计概率也同样成立..

6.概率的公理化定义

概率的公理化定义

1933年，苏联数学家柯尔莫哥洛夫给出了概率的公理化定义. 通过规定概率应具备的基本性质来定义概率.

设随机试验的样本空间为S，对每个事件 $A$ ，定义 $P(A)$ ，且满足 :

公理1 $P(A)\geq 0$ —— 非负性 ;

公理2 $P(S)=1$ —— 规范性 ;

公理3 若事件 $A_1, A_2 ,...$ 互不相容，则 $P(A_1 + A_2+... )= P(A_1)+ P(A_2)$ ——可列可加性; 称 $P(A)$ 为事件 $A$ 的概率.

7.条件概率、乘法公式

条件概率

定义: $P(A|B)=\frac{P(AB)}{P(B)},P(B)>0$

性质：设 $P(B) > 0$ .

(1）非负性： $P(A| B)>= 0$ ；

(2）规范性： $P(S | B) = 1$ ；

(3）可列可加性：设 $A_1 , A_2 , ...$ 互不相容，则 $P((A_1 + A_2+.. ) | B)= P(A_1 | B)+ P(A_2 | B)+...$

（4） $P(\bar{A}| B) = 1 - P(A| B)$ ;

（5） $P( \varnothing | B) = 0$ ;

（6） $P((A_1 -A_2) |B) =P(A_1 | B) - P(A_1A_2|B)$ ; $A_1\sqsupset A_2 => P(A_1 | B) >= P(A_2 | B)$ ;

（7） $P(A_1 U A_2 | B) = P(A_1 | B)+P(A_2 | B) - P(A_1A_2 | B)$ .

条件概率具有概率的所有性质．

乘法定理

$P(A|B)=\frac{P(AB)}{P(B)} => P(AB)=P(A|B)P(B),P(B)>0$

$P(B|A)=\frac{P(AB)}{P(A)} => P(AB)=P(B|A)P(A),P(A)>0$

乘法定理

$P(AB)=P(B|A)P(A)=P(A|B)P(B),P(A)>0 ,P(B)>0$

推广

$P(ABC)=P(A)P(B|A)P(C|AB),P(AB)>0$

$P(A_{1}A_{2}...A_{n})=P(A_{1})P(A_{2}|A_{1})P(A_{3}|A_{1}A_{2})....P(A_{N}|A_{1}A_{2}A_{3}..A_{n-1})$

$, P(A_{1}A_{2}A_{3}..A_{n-1})>0$

8.全概率公式

全概率公式

定理设 $A_1,A_2,...,A_n$ 是两两互斥的事件，且 $P(A_i)>0 ,( i =1,2,...,n)$ , 若对任一事件 $B$ , 有

$(A_1+A_2 ...+A_n) \sqsupset B$ ,则

$P(B)=\sum_{i=1}^{n}P(A_{i})P(B|A_{i})$

9.贝叶斯公式

定理

设 $A_1,A_2,...,A_n$ 是两两互斥的事件,且 $P(A_i)>0 ,( i =1,2,...,n)$ 若对任一事件 $B$ , 有 $(A_1+A_2 ...+A_n) \sqsupset B$ ，且 $P (B) > 0$ , 则

$P(A_{i}|B)=\frac{P(A_{i})|P(B|A_{i})}{\sum_{j=1}^{n}P(A_{j})|P(B|A_{j})},i=1,2....n$

$P(A_{i}|B)=\frac{P(A_{i}B)}{P(B)}=\frac{P(A_{i}B)}{\sum_{j=i}^{n}P(A_{j}B)}$

贝叶斯公式(Bayes)

定理设 $A_1,A_2,...,A_n$ 是两两互斥的事件,且 $P(A_i)>0 ,( i =1,2,...,n)$ 若对任一事件 $B$ , 有 $(A_1+A_2 ...+A_n) \sqsupset B$ ，且 $P (B) > 0$ , 则

$P(A_{i}|B)=\frac{P(A_{i})P(B|A_{i})}{\sum_{j=1}^{n}P(A_{j})P(B|A_{j})},i=1, 2... n$

$P(A_i)$ 和 $P(A_i |B)$ 分别称为原因的验前概率和验后概率

10.事件的独立性

两事件的独立性

$A$ 的发生并不影响B发生可能性的大小，这时称事件 $A$ 、 $B$ 独立. $P(AB)=P(B)P(A|B)$ 由 $P(B)=P(B|A)$ $P(AB)=P(A)P(B).$

定义设 $A$ 、 $B$ 是两个事件，如果 $P(AB)=P(A)P(B).$ ，则称 $A$ 与 $B$ 相互独立．

当 $P(A)>0$ ，当 $P(B)>0$ 时，

$P(AB)= P(A)P(B)$

$P(A|B) = P(A)$

$P(B|A) = P(B)$

$A$ 与 $B$ 相互独立

三个事件的独立性

定义设三个事件 $A,B,C$ ，若

$P(AB)= P(A)P(B)$

$P(AC)= P(A)P(C)$

$P(BC)= P(B)P(C)$

$A,B,C$ 两两独立、 $A,B,C$ 相互独立

$P(ABC)= P(A)P(B)P(C)$

n个事件独立

定义设 $A_{i_{1}},A_{i_{2}},...,A_{i_{n}}$ 是 $n$ 个事件，如果对任意 $k(1<k \leq n)$ ,任意 $1\leq i_1<i_2< \leq <i_k\leq n,$ 具有等式

$P(A_{i_{1}},A_{i_{2}}, ...A_{i_{k}})=P(A_{i_{1}})P(A_{i_{2}})...P(A_{i_{k}})$

称 $A_{i_{1}},A_{i_{2}},...,A_{i_{n}}$ 相互独立

11.二项概率公式

$n$ 重伯努利试验

若一个试验只有两个结果: $A$ 和 $\bar{A}$ , 称试验为伯努利试验.

设 $P(A) = p (0 < p <1)$ , 则 $P(\bar{A}) = 1-p = q$ .

将伯努利试验重复、独立地进行 $n$ 次, 称为 $n$ 重伯努利试验

注意：

每次试验中 $P(A) = p (0 < p <1)$ 保持不变

各次试验的结果互不影响

二项概率公式

定理1 设每次试验中成功A的概率为 $p (0 < p <1)$ , 则在 $n$ 重伯努利试验中 $A$ 恰好发生 $k$ 次的概率为

$P_{n}(k)=C_{n}^{k}p^kq^{n-k}$

其中, $p + q = 1, k = 0, 1, ..., n$ .

二项概率的泊松(Poisson)逼近定理

定理2 如果 $n\rightarrow \infty , p\rightarrow 0$ 使得 $np=\lambda$ 保持为正常数，则

$C_{n}^{k}p^k(1-p)^{n-k}\rightarrow \frac{\lambda ^{k}}{k!}e^{-\lambda }$

对 $k=0,1,2, ...$ 一致地成立.

12.随机变量的概念

随机变量函数的概念

定义设随机试验的样本空间是 $S$ . 若对 $S$ 中的每个样本点 $e$ , 都有唯一的实数值 $X(e)$ 与之对应, 称 $X(e)$ 为随机变量, 简记为 $X$ .

随机变量 $X$ 是基本事件 $e$ 的函数, 其定义域为 $S$ , 值域为某个实数集合.

随机变量 $X$ 取某个值或某些值表示事件,且具有一定的概率.

随机变量函数的意义

随机变量通常用大写字母 $X, Y, Z$ 或希腊字母 $\zeta ,\eta$ 等表示.

随机变量的取值一般用小写字母 $x, y, z$ 等表示.

随机变量函数的分类

随机变量:离散性、连续型

13.离散型随机变量

离散型随机变量

只能取有限个值或可列无穷多个值的随机变量 $X$ 称为离散型随机变量.

概率分布列

$P(X =x_{k} ) = p_{k} , k = 1, 2...$

$X$	$x_1$	$x_2$	...	$x_k$	...
$P$	$p_1$	$p_2$	...	$p_k$	...

为离散型随机变量 $X$ 的概率分布列, 简称分布列或分布律.

分布列的性质

(1) $p(k)\geq 0,(k=1,2,3,...)$ ,

(2) $\sum_{k=1}^{\infty }p_{k}=1$

几个常用的离散型分布

两点分布(伯努利分布、 (0-1)分布)

定义若随机变量 $X$ 的分布列是 $P(X = k) = p^k(1-p)^{1-k}, k = 0, 1 (0 < p < 1)$

称 $X$ 服从两点分布或伯努利分布, 也称为 (0 – 1) 分布,记为 $X\sim B(1, p)$ .

若 $P(X=a)=1$ , 称 $X$ 服从退化分布.

二项分布(Binomial)

定义若随机变量X的分布列是 $P(X=k)=C_n^kp^kq^{n-k}$

$k = 0, 1...n. 0 < p < 1 , q = 1-p .$ 称 $X$ 服从参数为 $n, p$ 的二项分布,记为 $X\sim B(n, p)$ ．

当 $n = 1$ 时, $P(X = k) = p^k(1-p)^{1-k},$ 为两点分布.

二项分布满足分布列的两个性质. 即

$P(X = k) = C_{n}^{k}p^k(1-p)^{n-k}\geq 0,(k=0,1,...n)$

$\sum_{k=0}^{n} P(X = k) = \sum_{k=0}^{n} C_{n}^{k}p^k(1-p)^{n-k}=(p+q)^{n}=1$

泊松分布(Poisson)

定义若随机变量 $X$ 的分布列

$P(X=k)= \frac{\lambda ^{k}}{k!}e^{-\lambda },\lambda>0,k=0,1,2...$

称X服从参数为 $\lambda$ 的泊松分布,记为 $X \sim P(\lambda )$ .

泊松分布满足分布列的两个性质. 即

$P(X=k)= \frac{\lambda ^{k}}{k!}e^{-\lambda }\geq 0,\lambda>0,k=0,1,2...$

$\sum_{k=0}^{\infty }P(X=k)= \sum_{k=0}^{\infty } \frac{\lambda ^{k}}{k!}e^{-\lambda }=1$

几何分布(Geometric)

定义若随机变量 $X$ 的分布列

$P(X =k) =q^{k-1}p, ( k=1, 2,...),0<p<1,q=1-p$

称 $X$ 服从参数为p的几何分布,记为 $X \sim G(p)$ .

几何分布满足分布列的两个性质

$P(X =k) =q^{k-1}p\geq 0, ( k=1, 2,...)$

$\sum_{k=1}^{\infty }P(X=k)=\sum_{k-1}^{\infty} q ^{k-1} p=1,$

几何分布的无记忆性

设 $X \sim G(p)$ , $n, m$ 为任意的两个正整数, 则

$P(X > n + m|X > n) = P(X > m)$

几何分布的应用在伯努利试验中,设每次试验成功的概率均为 $p(0<p<1)$ , 独立重复试验直到出现首次成功为止, 所需试验次数 $X$ 服从几何分布.

超几何分布

定义设有N件产品, 其中有M件次品. 今从中任取 $n$ 件不同产品, 则这 $n$ 件中所含的次品数 $X$ 的分布列为

$P(X=k)=\frac{C_M^kC_{(N-M)}^{(n-k)}}{C_N^n}$

规定当 $i > m$ 时, $C_m^0=0$ .

称 $X$ 服从超几何分布.

二项分布用来描述有放回抽样.

超几何分布用来描述不放回抽样.

当总体N很大，抽样数n较小时, 可用二项分布来逼近超几何分布.

14.随机变量的分布函数

分布函数:

定义设 $X$ 为一随机变量, 称 $F(x) = P ( X \leq x ) ,-\infty <x < +\infty$ . 为X的分布函数,

记为 $F (x)$ 或 $F_X (x)$ .

随机变量都有分布函数.

分布函数的几何意义

$F(x) =P(X \leqslant x) =P(x \in ( -\infty , x))$

利用分布函数计算概率

设随机变量X的分布函数为 $F(x)$ , $a<b$ , $a, b$ 为任意实数，则

$P(a < X \leq b) = P(X \leq b) -P(X \leq a)=F(b) -F(a)$

$P(a < X < b) = P(a < X < b)-P(X=b)=F(b) -F(a)-P(X=b)$

$P(X =a)= P(X \leq a) -P(X = a)= F(a) - F(a^- )$

$P(X > b) = 1- P(X\leq b) = 1- F(b),$

$P(X \geq b) = 1- P(X<b) = 1- F(b^-),$

分布函数的性质

(i) $0 \leqslant F(x) \leq 1 ( -\infty < x < + \infty )$

(ii) $F(x1) \leq F(x2), x1 < x2$ ,即F(x)是单调非减的；

(iii) $F( -\infty ) = \lim_{x\rightarrow -\infty } F (x) = 0,F( +\infty ) = \lim_{x\rightarrow +\infty } F (x) = 1$

(iv) $F(x+) = F(x),$ 即F(x)是右连续的.

15.连续型随机变量

连续型随机变量

定义设随机变量X的分布函数为 $F(x)$ , 若存在一个非负的函数 $f(x)$ , 对任何实数 $x$ , 有

$F (x) =\int_{-\infty }^{x} f (t)dt$

称X为连续型随机变量, 称 $f(x)$ 为 $X$ 的概率密度函数, 简称概率密度.也可记为 $f_X(x)$ .

由定义, 可得下面两个结论

(1)连续型随机变量的分布函数一定是连续的；

(2)对f(x)的连续点, 有

$\left.\begin{matrix} {F}'(x) = f (x)\\ F (x) =\int_{-\infty }^{x} f (t)dt\end{matrix}\right\}$ $F(x)$ 与 $f(x)$ 可以互推.

概率密度的性质

(1) $f(x)\geq 0,$

(2) $\int_{-\infty}^{+\infty}f(x)dx=1$

这两条是判定函数 $f (x)$ 是否为概率密度函数的充要条件.

$F(+\infty)=\int_{-\infty}^{+\infty}f(x)dx=1$

(3) $P(x_1 < X \leq x_2 ) = F(x_2 )- F(x_1 ) = \int_{x_1}^{x_2} f (x)dx$

连续型随机变量取任一指定值的概率为0，即 $P ( X = a ) = 0$ .这是因为

$0 \leq P(X = a)\leq P(a -\Delta x < X \leq a) = F(a)- F(a-\Delta x), \Delta x> 0.$

由F(x)连续得

$\lim_{\Delta x\rightarrow 0}(F(a)-F(a-\Delta x))=0\Rightarrow P(X=a )=0$

$P(X = a)= 0$ 不能推出 $(X =a)=\varnothing$

同理 $P(A) =0$ 不能推出 $A =\varnothing$

$P(B)= 1$ 不能推出 $B = S$

$P(a <X < b) = P(a< X\leq b)= P(a \leq X < b) = P(a \leq X \leq b).$

几种重要的连续型随机变量

均匀分布(Uniform)

定义若随机变量X的概率密度为

$f(x)=\left\{\begin{matrix} 1 & & \\ b-a,& a \leq x \leq b & \\ 0,&other & \end{matrix}\right.$

称X在区间 $[a, b]$ 上服从均匀分布,记为 $X \sim U[a, b]$

$f (x) \geq 0$ .

$\int_{-\infty }^{+\infty }f(x)dx=\int_{-\infty }^{+\infty }\frac{1}{b-a}dx=1$

均匀的含义是等可能

若 $X \sim U[a, b], (x_1, x_2)$ 为 $[a, b]$ 中的任一子区间, 则

$p(x_1<X<x_2)=\int_{x_1}^{x_2}\frac{1}{b-a}dx=\frac{x_2-x_1}{b-a}$

说明： X落在长度相等的各个子区间的可能性是相等的.属于几何概率.

若 $X \sim U[a, b]$ ,则 $P(a \leq X \leq b) =1$ .

概率密度的性质

若 $X \sim U[a, b]$ ，则 $X$ 的分布函数

$F(x)=\left\{\begin{matrix} 0, &x<a \\ \frac{x-a}{b-a},&a \leq x <b \\ 1 ,&x \geq b \end{matrix}\right.$

$F(x)=\int_{-\infty }^{+\infty}f(t)dt$

指数分布(Exponential)

定义若连续型随机变量 $X$ 的概率密度

$f(x)=\left\{\begin{matrix} \lambda e^{- \lambda x}, &x>0 \\ 0,& x \leq 0 \end{matrix}\right. (\lambda>0)$

称 $X$ 服从参数为 $\lambda$ 的指数分布.记为 $X \sim E(\lambda )$ .

满足，

$f(x)\geq 0,\int_{-\infty }^{+\infty }f(x)dx=\int_{-\infty }^{+\infty }\lambda e^{-\lambda x}dx=1$

分布函数为:

$F (x) =\left\{\begin{matrix} 1-e^{- \lambda x}, & x>0\\ 0 ,&x \leq 0 \end{matrix}\right. \lambda > 0$

指数分布常用来近似地表示各种寿命的分布.

指数分布的无记忆性

$X \sim E( \lambda),\forall s> 0, t > 0,$

$P(X > s + t | X > s)= P(X> t)$

16.正态分布

正态分布(Normal)

定义若随机变 $X$ 的概率密度为

$f(x)=\frac{1}{\sigma \sqrt{2 \pi }}e^{-\frac{(x-u)^2}{2 \sigma^2}},(-\infty<x<+\infty)$

$\mu, \sigma$ 为常数, 且 $\sigma > 0$ , 称 $X$ 服从参数为 $\mu, \sigma$ 的正态分布或高斯(Gauss)分布, 也称 $X$ 为正态变量, 记作 $X\sim N(\mu, \sigma^2)$ .

可以验证： $f(x)\geq 0,\int_{-\infty }^{+\infty }f(x)dx=\int_{-\infty }^{+\infty }\frac{1}{\sigma \sqrt{2 \pi }}e^{-\frac{(x-u)^2}{2 \sigma^2}}dx=1$

正态分布密度曲线特征

(1) 关于 $x=\mu$ 对称;

(2) 当 $x=\mu$ 时, $f (x)$ 取得最大值 $\frac{1}{\sqrt{2 \pi }\sigma}$ ;

(3) 当 $x\rightarrow \pm \infty$ 时, $f(x)\rightarrow 0$

(4)曲线在 $x=\mu\pm \sigma$ 处有拐点;

(5) $\mu$ 决定对称轴的位置. 当固定 $\sigma$ 值，改变 $\mu$ 值时, $f(x)$ 的形状不变，只是沿着 $x$ 轴平移；

(6) $\sigma$ 决定离散程度. 当固定 $\mu$ 值，改变 $\sigma$ 值时, f(x)的对称轴不变，但形状改变. $\sigma$ 越大，图形越矮越胖， $\sigma$ 越小，图形越高越瘦.

正态变量X的分布函数

$F(x)=\frac{1}{\sqrt{2\pi}}\int_{-\infty}^{x}e^{-\frac{(t-u)^2}{2\sigma^2}}dt,-\infty <x< +\infty$

标准正态分布定义

若 $X\sim N(0,1)$ ，称 $X$ 服从标准正态分布.

概率密度为

$\varphi (x)=\frac{1}{\sqrt{2 \pi}}e^{-\frac{x^2}{2}},-\infty < x< +\infty$

分布函数为;

$\phi (x)=\frac{1}{\sqrt{2\pi}}\int_{-\infty}^{x}e^{-\frac{t^2}{2}}dt,-\infty < x< +\infty$

性质:

$\varphi (x)=\varphi (-x),\phi (-x)=1-\phi (x)$

一般的正态分布 $X\sim N(\mu, \sigma^2)$ 的分布函数 $F(x)$ 与标准正态分布的分布函数 $\phi (x)$ 间的关系为

$F (x)=\phi (\frac{x-u}{\sigma})$

即，若 $X\sim N(\mu, \sigma^2)$ ,则 $\frac{X-\mu}{\sigma}\sim N(0,1)$

17.随机变量的函数分布

离散型随机变量函数的分布

连续型随机变量函数的分布

连续型随机变量函数概率密度的两种求法

分布函数法

已知X的概率密度 $f_X (x)$ ,分布函数 $F_X (x)$ , $Y=g(X)$ , 求Y概率密度 $f_Y (y)$ ,分两步：

(1)先求Y的分布函 $F_Y (y)$ 解出 $F_Y (y)=P(Y\leq y)=P{g(X)\leq y}$ , 表示成 $X$ 的分布函数；

(2)求导数： $f_Y (y)= {F}'_Y (y)$ .

公式法

设X的概率密度 $f_X (x)$ , $y =g(x)$ 为 $(a,b)$ 上严格单调可微函数 $(-\infty < a \leq b<+\infty)$ ,则 $Y=g(X)$ 的概率密度为

$f_Y ( y) =\left\{\begin{matrix} f_X(h(y))|{h}'(y)| & A <y<B \\ 0 & other \end{matrix}\right.$

其中 $h(y)$ 为 $g(x)$ 的反函数且 $A=ming\{(a), g(b)\}, B=max\{g(a), g(b)\}$ .

18.多维随机变量，分布函数、边缘分布函数

多维随机变量

定义若 $X_1 (e), X_2 (e), , X_n (e)$ 定义在同一样本空间S上的n个随机变量,称 $(X_1 (e), , X_n (e))$ 为 n 维随机变量或 n 维随机向量，简记为 $(X_1 , , X_n )$ .

二维随机变量 $(X,Y)$ 的分布函数

二维随机变量 $(X,Y)$

$F(x, y) = P(X \leq x,Y \leq y),(- \infty <x, y< +\infty)$

为 $X$ 和 $Y$ 的联合分布函数

$(X \leq x) \bigcap (Y \leq y)$ 两事件同时发生

分布函数的性质

(1)对任意实数 $x, y$ 有 $0 \leq F(x, y) \leq 1$ ;

(2) $F (x_1 , y) \leq F (x_2 , y), x_1 \leq x_2 , y$ 任意；

$F (x, y_1 ) \leq F (x, y_2 ), y_1 \leq y2 , x$ 任意.

即 $F(x, y)$ 对每个自变量都是单调不减的；

(3)对任意 $x, y$ 有

$\\F( -\infty , y)= \lim_{x \rightarrow -\infty} F(x, y) = 0, \\ F( x, -\infty )= \lim_{y \rightarrow -\infty} F(x, y) = 0, \\ F( -\infty , -\infty)= \lim_{x \rightarrow -\infty,y \rightarrow -\infty} F(x, y) = 0, \\ F( -\infty , +\infty)= \lim_{x \rightarrow +\infty,y \rightarrow +\infty} F(x, y) = 1$

(4) $F(x, y) = F(x^+ , y), F(x, y) = F(x, y ^+ )$ ;

(5)对任意实数 $x1 \leq x2 , y1 \leq y2$ ，有

$F(x_2 , y_2 ) -F(x_2 , y_1 ) - F(x_1 , y_2 ) +F(x_1 , y_1 ) \geq 0$ .

因为

$P(x_1 X \leq x_2 , y_1 < Y \leq y_2 )$

边缘分布函数

设二维随机变量 $(X,Y)$ 的分布函数 $F(x, y),$ 称 $X$ 与 $Y$ 各自的分布函数 $F_X(x)$ 和 $F_Y(y)$ 为 $F(x, y)$ 的边缘分布函数或 $(X,Y)$ 关于 $X$ 和 $Y$ 的边缘分布函数. 即

$\\F_X (x)= P(X \leq x)= P(X \leq x,Y \leq +\infty )\\ = F(x,+\infty ) = \lim_{y \rightarrow +\infty} F(x, y),$

同理，

$\\F_Y (y)= F(+\infty,y ) = \lim_{x \rightarrow +\infty} F(x, y),$

19.二维离散型随机变量

二维离散型随机变量

定义1 若二维随机变量 $( X, Y )$ 所有可能取值是有限对或可列无限多对，则称 $( X, Y )$ 为二维离散型随机变量.

定义2设 $( X, Y )$ 的所有可能取值为 $(x_i , y-j ), (i, j= 1,2.... )$ ,称 $P(X = x_i ,Y= y_j ) p_{ij} , (i, j= 1, 2,... )$ , 为 $(X,Y)$ 的分布列或 $X$ 和 $Y$ 的联合分布列.

$(X,Y)$ 的分布列也可用列表法表示:

$(X,Y)$ 分布列的性质：

(1) $p_{ij} \geq 0(i,j= 1, 2, ... )$ ;

(2) $\sum _{i}\sum_jp_{ij}=1$

(3) $P((X,Y)\in G)=\sum _{(x_i,y_j)\in G}P(X=x_i,Y=y_j)=\sum _{(x_i,y_j)\in G}p_{jj}$

$(X,Y)$ 的边缘分布列

设离散型随机变量 $(X,Y)$ 的分布列为 $P(X =x_i ,Y= y_j ) = pij , (i, j= 1, 2,.... ),$

$X$ 的边缘分布列为: $P (X= x_i)=\sum_{j=1}^{+\infty} ( P (X = x_i ,Y = y_j ) )= \sum_{j=1}^{+\infty} p_{ij}\frac{\Delta }{=}p_{i.}$

$Y$ 的边缘分布列为: $P (Y= y_i)=\sum_{i=1}^{+\infty} ( P (X = x_i ,Y = y_j ) )= \sum_{i=1}^{+\infty} p_{ij}\frac{\Delta }{=} p_{.j}$

二维离散型随机变量 $(X,Y)$ 的分布函数:

$F(x, y) =P(X \leq x,Y \leq y) = \sum_{x_i \leq x} \sum_{y_j \leq y} P(X= xi , Y = yj) = \sum_{x_i \leq x} \sum_{y_j \leq y} p_{ij}$

和式是对所有满足 $x_i \leq x, y_j \leq y$ 的 $i,j$ 求和.

20.二维连续性随机变量

二维连续型随机变量

二维连续型随机变量 $X$ 和 $Y$ 的联合概率密度

$\\F (x, y) = \int_{-\infty}^{x} \int_{-\infty}^{y} f(u,v)dudv\\ f(x,y) \geq 0\\ \int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty} f(x,y)dxdy=1$

定义设二维随机变量 $(X,Y)$ 的分布函数为 $F(x ,y)$ ，若存在非负函数 $f(x, y),$ 使得对任意实数 $x, y$ 有 $F (x, y) = \int_{-\infty}^{x} \int_{-\infty}^{y} f(u,v)dudv$ 称 $(X, Y)$ 为二维连续型随机变量，称 $f(x, y)$ 为二维随机变量 $(X, Y)$ 的概率密度，或称为 $X$ 与 $Y$ 的联合概率密度.

概率密度的性质

(1) $f(x,y) \geq 0$

(2) $\int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty} f(x,y)dxdy=F ( +\infty , +\infty )=1$

(3) 设 $G$ 是 $xOy$ 平面上的一个区域，则点 $(X,Y)$ 落在 $G$ 中的概率为

$P((X,Y) \in G) ={\int \int} f (x, y)dxdy.$

(4) 在 $f (x, y)$ 的连续点有

$f (x, y)=\frac{\partial ^2F(x,y)}{\partial x\partial y}$

边缘概率密度

设二维连续型随机变量 $(X,Y)$ 的密度函数为 $f(x, y)$ ,称

$\\f_X (x) = \int_{-\infty}^{+\infty} f (x, y)dy \\ f_Y (y) = \int_{-\infty}^{+\infty} f (x, y)dx\\$

为二维随机变量 $(X,Y)$ 的边缘概率密度.

二维均匀分布

设G是平面上的有界区域，其面积为 $S(G)$ .若二维随机变量 $(X,Y)$ 具有概率密度

$f (x, y)=\left\{\begin{matrix} \frac{1}{S(G)} &(x,y) \in G \\ 0&others \end{matrix}\right.$

则称 $(X,Y)$ 在 $G$ 上服从均匀分布 $f (x, y) \geq 0$ ,且 $\int_{-\infty}^{+\infty} f (x, y)dxdy = 1.$

满足概率密度的两个基本性质.

二维正态分布

设二维随机变量 $(X,Y)$ 的概率密度

$\\f(x,y)=\frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho ^2}}e^{-\frac{1}{2(1-\rho ^2)}[\frac{(x-\mu_1)^2}{\sigma_1^2}-2\rho\frac{(x-\mu_1)(y-\mu_2)}{\sigma_1\sigma_2}+\frac{(y-\mu_2)^2}{\sigma_2^2}]} \\(-\infty <x<+\infty,-\infty <y<+\infty,)$

其中 $\mu_1,\mu_2,\sigma_1>0,\sigma_2>0,|\rho|<1$ ,都是常数，称 $(X,Y)$ 服从参数为 $\mu_1,\mu_2,\sigma_1^2,\sigma_2^2,\rho$ 的二维正态分布，记为 $(X,Y)\sim N(\mu_1,\mu_2,\sigma_1^2,\sigma_2^2,\rho)$

二维正态分布的两个边缘分布都是一维正态分布，即

$X\sim N( \mu_ 1 , \sigma_1^2 ), Y \sim N( \mu_ 2, \sigma_2^2 ).$

21.随机变量的独立性

随机变量的独立性

两事件 $A, B$ 独立的定义是：若 $P(AB)=P(A)P(B)$ 则称事件 $A, B$ 独立 .

设 $X, Y$ 是两个随机变量，若对任意的实数 $x, y$ , 令 $A = (X \leq x), B= (Y\leq y)$ ,则

$\\P(X \leq x,Y\leq y)= P(X\leq x)P(Y\leq y), \\ F(x, y)= F_X (x)F_Y (y).$

定义设 $F(x, y), F_X (x), F_Y (y)$ 依次为 $(X,Y), X,Y$ 的分布函数.若对任意实数 $x, y$ 成立

$F(x, y) = F_X (x)F_Y (y)$

称 $X$ 与 $Y$ 相互独立.

$X,Y$ 为连续型随机变量时, $X$ 与 $Y$ 独立的充要条件是

$f(x, y) = f_X (x)f_Y (y)$

这里 $f (x, y), f_X (x), f_Y (y)$ 分别是 $(X,Y), X,Y$ 的概率密度.

$X,Y$ 为离散型随机变量时, $X$ 与 $Y$ 独立的充要条件是

$\\P(X = x_i ,Y = y_j )= P(X = x_i )P(Y = y_j ). \\ p_{ij} = p_{i.} p {.j} ,$

这里 $p_{ij} , p_{i.} , p_{.j}$ 分别是 $(X,Y), X,Y$ 的分布列.

$n$ 维随机变量的一些概念

$n$ 维随机变量的分布函数

设 $(X_1 , X_2 , , X_n )$ 为 $n$ 维随机变量， $x_1 , x_2 , , x_n$ 为任意实数，则 $n$ 元函数 $F (x_1 , x_2 , , x_n ) = P(X_1\leq x_1 , X_2\leq x_2 , ... , X_n \leq x_n )$ 称为 $(X_1 , X_2 , , X_n )$ 的分布函数.

n维随机变量的概率密度

设 $F (x_1 , x_2 , , x_n )$ 为 $n$ 维随机变量 $(X_1 , X_2 , , X_n )$ 的分布函数.若存在非负函数 $f (x_1 , x_2 , , x_n )$ , 对任意实数 $x_1 , x_2 , , x_n$ 有 $F (x_1 , x_2 , , x_n )=\int_{-\infty}^{x_1}\int_{-\infty}^{x_2}...\int_{-\infty}^{x_n}f(t_1,t_2...t_n)dt_1dt_2...dt_n$ , 称 $(X_1 , X_2 , , X_n )$ 为连续型随机变量， $f (x_1 , x_2 , , x_n )$ 为 $n$ 维随机变量的概率密度.

$n$ 维随机变量的相互独立

设 $F (x_1 , x_2 , , x_n )$ 为 $n$ 维随机变量 $(X_1 , X_2 , , X_n )$ 的分布函数.若对任意实数 $x_1 , x_2 , , x_n$ 有 $F (x_1 , x_2 , , x_n )=F_{X_1}(x_1)F_{X_2}(x_2)...F_{X_n}(x_n)$ 则称 $X_1 , X_2 , , X_n$ 是相互独立的. 对连续型随机变量，则 $X_1 , X_2 , , X_n$ 相互独立的充要条件是 $f(x_1 , x_2 , , x_n )=f_{X_1}(x_1)f_{X_2}(x_2)...f_{X_n}(x_n)$ .

22.二维随机变量函数的分布

离散型随机变量函数的分布

设二维离散型随机变量 $(X , Y )$ 的分布列为 $P (X=x_i,Y=y_j)= p_{ij},ij=1,2,3,...$ ，则 $Z=g(X ,Y)$ 是一维离散型随机变量，用 $z_k=g (x_i , y_j )( k =1,2...)$ 表示 $Z$ 的取值,则 $Z$ 的分布列 ,

$P(Z = z_k )= P\{g(X,Y) = z_k \}=\sum_{g(X,Y)=z_k} P(X = x_i ,Y = y_j ), k= 1, 2...$

连续型随机变量函数的分布

设 $( X, Y )$ 是二维连续型随机变量，其概率密度为 $f(x, y)$ , $Z=g(X,Y)$ ,求 $Z$ 的概率密度 $f_Z(z)$ 或分布函数 $F_Z(z)$

分布函数法:

$\\F_Z (z)= P(Z \leq z) = P{g(X,Y) \leq z} ={\int \int} _{g( x ,y ) \leq z} f (x, y)dxdy , \\f_Z (z)= {F}'_Z (z).$

连续型随机变量 $Z=X+Y$ 的分布

设 $X$ 和 $Y$ 的联合密度为 $f (x,y)$ , 则 $Z=X+Y$ 的分布函数为

$\\F_Z (z) = P(Z \leq z)= P(X + Y \leq Z) \\= \iint_{x+y \leq z}^{}f (x, y)dxdy \\=\int _{-\infty}^{+\infty}(\int _{-\infty}^{z-x}f(x,y)dy)dx \\=\int _{-\infty}^{+\infty}(\int _{-\infty}^{z}f(x,u-x)du)dx \\=\int _{-\infty}^{z}(\int _{-\infty}^{+\infty}f(x,u-x)dx)du \\=\int _{-\infty}^{z}f_Z(u)du$