一、高斯分布
1.1 一元高斯分布
- x ∈ R x\in \mathbb{R} x∈R
- p ( x ) = 1 2 π σ e x p [ − 1 2 ( x − μ σ ) 2 ] p(x)=\displaystyle\frac{1}{\sqrt{2\pi}\sigma}exp[-\displaystyle\frac{1}{2}(\displaystyle\frac{x-\mu}{\sigma})^2] p(x)=2πσ1exp[−21(σx−μ)2]
1.2 多元高斯分布
- x ∈ R n x\in \mathbb{R}^n x∈Rn
- p ( x ) = 1 ( 2 π ) d / 2 ∣ Σ ∣ 1 / 2 e x p [ − 1 2 ( x − μ ) T Σ − 1 ( x − μ ) ] p(x)=\displaystyle\frac{1}{(2\pi)^{d/2}|\Sigma|^{1/2}}exp[-\displaystyle\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu)] p(x)=(2π)d/2∣Σ∣1/21exp[−21(x−μ)TΣ−1(x−μ)]
- μ : \mu: μ: Mean vector
- Σ : \Sigma: Σ: Covariance matrix
- ( x − μ ) T Σ − 1 ( x − μ ) : \sqrt{(x-\mu)^T\Sigma^{-1}(x-\mu)}: (x−μ)TΣ−1(x−μ): Mahalanobis distance
1.3 性质
- 仿射变换
- 向量子集的边缘分布
- 条件概率分布
- 高斯联合分布中的变量 x i x_i xi 与 x j x_j xj 若不相关,则独立。
二、中心极限定理
- X = ( X 1 , X 2 , . . . , X n ) X=(X_1,X_2,...,X_n) X=(X1,X2,...,Xn) 中各变量独立同分布
- Z = f ( X ) = 1 n ∑ i = 1 n X i Z=f(X)=\displaystyle\frac{1}{n}\sum\limits_{i=1}^nX_i Z=f(X)=n1i=1∑nXi
- 当 n → ∞ n\rightarrow\infty n→∞,则 p ( Z ) → ( E [ X i ] , V A R [ X i ] / n ) p(Z)\rightarrow(E[X_i],VAR[X_i]/n) p(Z)→(E[Xi],VAR[Xi]/n) 的高斯分布
三、伯努利分布
概率质量函数:
p
(
x
)
=
{
p
if
x
=
1
1
−
p
if
x
=
0
p(x)=\left\{\begin{aligned}& p && \text{if } x = 1 \\& 1-p && \text{if } x = 0\end{aligned}\right.\ \ \ \ \ \ \
p(x)={p1−pif x=1if x=0
期望推导:
E
[
X
]
=
p
+
0
(
1
−
p
)
=
p
E[X]=p+0(1-p)=p
E[X]=p+0(1−p)=p
方差推导:
D
[
X
]
=
E
[
X
2
]
−
E
[
X
]
2
=
(
1
2
p
+
0
2
(
1
−
p
)
)
−
p
2
=
p
(
1
−
p
)
D[X]=E[X^2]-E[X]^2=(1^2p+0^2(1-p))-p^2=p(1-p)
D[X]=E[X2]−E[X]2=(12p+02(1−p))−p2=p(1−p)