1.事件、概率
1.1 随机试验
随机试验:随机试验是一个过程,它所产生的试验结果是完全确定的。在每一次重复或者试验中,出现哪种结果完全由偶然性来决定。
样本空间:随机试验的样本空间是试验所有结果组成的一个集合。一种特定的试验结果被称为样本点(sample point), 它是样本空间中的一个元素。
1.2 事件
事件是样本点的一个集合。事件的概率等于事件 中所有样本点的概率之和。
1.3 条件概率
条件概率(Conditional Probability):
P
(
A
|
B
)
=
P
(
A
∩
B
)
P
(
B
)
P\left(A\middle| B\right)=\frac{P\left(A\cap B\right)}{P\left(B\right)}
P(A∣B)=P(B)P(A∩B)
全概率公式(Law of Total Probability):
P
(
A
)
=
∑
i
=
1
n
P
(
A
∣
B
i
)
P
(
B
i
)
P\left(A\right)=\sum_{i=1}^{n}P(A|B_{i})P(B_{i})
P(A)=∑i=1nP(A∣Bi)P(Bi)
贝叶斯公式(Bayes’ Theorem):
P
(
B
|
A
)
=
P
(
A
|
B
)
P
(
B
)
∑
i
=
1
n
P
(
A
|
B
i
)
P
(
B
i
)
P\left(B\middle| A\right)=\frac{P\left(A\middle| B\right)P\left(B\right)}{\sum_{i=1}^{n}{P\left(A\middle| B_i\right)P\left(B_i\right)}}
P(B∣A)=∑i=1nP(A∣Bi)P(Bi)P(A∣B)P(B)
2.离散型随机变量
2.1 常见的数字特征
离散型随机变量的期望(Expected Value):
E ( X ) = ∑ i = 1 n x i P ( X = x i ) E(X) = \sum_{i=1}^{n} x_i P(X = x_i) E(X)=∑i=1nxiP(X=xi)
方差(Variance):
V a r ( X ) = E [ ( X − E ( X ) ) 2 ] = ∑ i = 1 n ( x i − E ( X ) ) 2 P ( X = x i ) Var(X) = E[(X - E(X))^2] = \sum_{i=1}^{n} (x_i - E(X))^2 P(X = x_i) Var(X)=E[(X−E(X))2]=∑i=1n(xi−E(X))2P(X=xi)
协方差(Covariance):
C o v ( X , Y ) = E [ ( X − E ( X ) ) ( Y − E ( Y ) ) ] = ∑ i = 1 n ∑ j = 1 m ( x i − E ( X ) ) ( y j − E ( Y ) ) P ( X = x i , Y = y j ) = E ( X Y ) − E ( X ) E ( Y ) Cov(X, Y) = E[(X - E(X))(Y - E(Y))] = \sum_{i=1}^{n} \sum_{j=1}^{m} (x_i - E(X))(y_j - E(Y)) P(X = x_i, Y = y_j)=E(XY)-E(X)E(Y) Cov(X,Y)=E[(X−E(X))(Y−E(Y))]=∑i=1n∑j=1m(xi−E(X))(yj−E(Y))P(X=xi,Y=yj)=E(XY)−E(X)E(Y)
相关系数(Correlation Coefficient):
ρ X , Y = C o v ( X , Y ) σ X σ Y \rho_{X,Y} = \frac{Cov(X, Y)}{\sigma_X \sigma_Y} ρX,Y=σXσYCov(X,Y)
2.2 常见离散型分布及其特征:
二项分布(Binomial Distribution):
- 概率质量函数(Probability Mass Function, PMF): P ( X = k ) = ( n k ) p k ( 1 − p ) n − k P(X = k) = \binom{n}{k} p^k (1-p)^{n-k} P(X=k)=(kn)pk(1−p)n−k
- 期望: E ( X ) = n p E(X) = np E(X)=np
- 方差: V a r ( X ) = n p ( 1 − p ) Var(X) = np(1-p) Var(X)=np(1−p)
泊松分布(Poisson Distribution):
- PMF: P ( X = k ) = λ k e − λ k ! P(X = k) = \frac{\lambda^k e^{-\lambda}}{k!} P(X=k)=k!λke−λ
- 期望: E ( X ) = λ E(X) = \lambda E(X)=λ
- 方差: V a r ( X ) = λ Var(X) = \lambda Var(X)=λ
超几何分布(Hypergeometric Distribution):
- PMF: P ( X = k ) = ( K k ) ( N − K n − k ) ( N n ) P(X = k) = \frac{\binom{K}{k} \binom{N-K}{n-k}}{\binom{N}{n}} P(X=k)=(nN)(kK)(n−kN−K)
- 期望: E ( X ) = K n N E(X) = \frac{Kn}{N} E(X)=NKn
- 方差: V a r ( X ) = K ( N − K ) n ( n − 1 ) N 2 ( N − 1 ) Var(X) = \frac{K(N-K)n(n-1)}{N^2(N-1)} Var(X)=N2(N−1)K(N−K)n(n−1)
3.连续型随机变量
3.1 常见的数字特征
E
(
X
)
=
∫
−
∞
∞
x
f
(
x
)
d
x
E(X) = \int_{-\infty}^{\infty} x f(x) dx
E(X)=∫−∞∞xf(x)dx
V
a
r
(
X
)
=
E
[
(
X
−
E
(
X
)
)
2
]
=
∫
−
∞
∞
(
x
−
E
(
X
)
)
2
f
(
x
)
d
x
Var(X) = E[(X - E(X))^2] = \int_{-\infty}^{\infty} (x - E(X))^2 f(x) dx
Var(X)=E[(X−E(X))2]=∫−∞∞(x−E(X))2f(x)dx
3.2 常见连续型分布及其特征:
均匀分布(Uniform Distribution):
- 概率密度函数(PDF): f ( x ) = { 1 b − a for a ≤ x ≤ b , 0 otherwise. f(x) = \begin{cases} \frac{1}{b-a} & \text{for } a \le x \le b, \\ 0 & \text{otherwise.} \end{cases} f(x)={b−a10for a≤x≤b,otherwise.
- 累积分布函数(CDF): F ( x ) = { 0 for x < a , x − a b − a for a ≤ x < b , 1 for x ≥ b . F(x) = \begin{cases} 0 & \text{for } x < a, \\ \frac{x-a}{b-a} & \text{for } a \le x < b, \\ 1 & \text{for } x \ge b. \end{cases} F(x)=⎩ ⎨ ⎧0b−ax−a1for x<a,for a≤x<b,for x≥b.
- 期望: E ( X ) = a + b 2 E(X) = \frac{a+b}{2} E(X)=2a+b
- 方差: V a r ( X ) = ( b − a ) 2 12 Var(X) = \frac{(b-a)^2}{12} Var(X)=12(b−a)2
指数分布(Exponential Distribution):
- PDF: f ( x ) = λ e − λ x f(x) = \lambda e^{-\lambda x} f(x)=λe−λx (x>0)
- CDF: F ( x ) = 1 − e − λ x F(x) = 1 - e^{-\lambda x} F(x)=1−e−λx (x>0)
- 期望: E ( X ) = 1 λ E(X) = \frac{1}{\lambda} E(X)=λ1
- 方差: V a r ( X ) = 1 λ 2 Var(X) = \frac{1}{\lambda^2} Var(X)=λ21
正态分布(Normal Distribution):
- PDF: f ( x ) = 1 2 π σ 2 e − ( x − μ ) 2 2 σ 2 f(x) = \frac{1}{\sqrt{2\pi\sigma^2}} e^{-\frac{(x-\mu)^2}{2\sigma^2}} f(x)=2πσ21e−2σ2(x−μ)2
- 期望: E ( X ) = μ E(X) = \mu E(X)=μ
- 方差: V a r ( X ) = σ 2 Var(X) = \sigma^2 Var(X)=σ2
3.3 二项分布的连续化
二项分布可以通过极限过程转换为正态分布。正态分布PDF如下:
f
(
x
∣
μ
,
σ
)
=
1
2
π
σ
2
e
−
(
x
−
μ
)
2
2
σ
2
f(x|\mu, \sigma) = \frac{1}{\sqrt{2\pi\sigma^2}} e^{-\frac{(x-\mu)^2}{2\sigma^2}}
f(x∣μ,σ)=2πσ21e−2σ2(x−μ)2
3.4 泊松过程与指数分布
泊松分布用于描述在固定时间或空间内随机事件发生的次数,而指数分布是泊松过程中两次事件发生之间的时间间隔的分布。如果一个事件是一个泊松过程,其中事件以平均速率 𝜆发生,那么两次连续事件发生的时间间隔将遵循指数分布。