概率背景知识

概率分布

概率分布(probability distribution)用来描述随机变量或一簇随机变量在米一个可能取到的状态的可能性的大小。

概率质量函数

离散型变量的概率分布可以用概率质量函数(probability mass function, PMF)来描述。例如一个随机变量X，X的取值为x时候的概率就是PMF(x)，可以简写成P(x)。

联合概率分布

PMF同时可以作用于多个随机变量上，例如X和Y，当X=x同时Y=y的时候的概率为P(X=x, Y=y)，这样的概率分布被称为联合概率分布(joint probability distribution)，它表示两件事情同时发生的概率。

累积分布函数

x的累积分布函数(cumulative distribution function, CDF)表示x小于值a的概率，可以由PMF累加得到。

概率密度函数

连续型变量的概率分布可以用概率密度函数(probability density function, PDF)来描述。我们可以对PDF求积分的方式来获得点集的真实概率质量。

边缘概率

边缘概率(marginal probability)是指某个事件发生的概率，而且要与其他事件无关。例如对于上面的联合概率P(X=x, Y=y)的概率分布求P(X=x)的边缘概率，就是固定X=x的条件，再把所有的Y=y的联合概率加起来。即：

$\sum\limits_yP(X=x,Y=y)$

条件概率

条件概率是某个事件发生的情况下，另一个事件发生的概率，记为P(Y=y|X=x)。

条件概率和联合概率的关系为：
$P(Y=y|X=x)=\frac{P(Y=y,X=x)}{P(X=x)}$

条件概率的运算

P(a,b,c) = P(a|b,c)P(b,c)
P(b,c) = P(b|c)P(c)
P(a,b,c) = P(a|b,c)P(b|c)P(c)

常用概率分布

伯努利分布(Bernoulli distribution)

伯努利分布是单个二值随机变量的分布。
+ PMF：$f_x(k)=P\{x=k\}=C_n^kp^k(1-p)^{1-k}$
+ 期望：$E(x)=np$，表示结果取1发生的平均次数
+ 方差：$Var(x)=np(1-p)$

正态分布/高斯分布

• PDF：$N(\mu,\sigma^2)=\frac{1}{\sqrt{2\pi\sigma}}exp\left[\frac{-(x-\mu)^2}{2\sigma^2}\right]$
• 期望：$E(x)=\mu$
• 方差：$Var(x)=\sigma^2$
• 标准正态分布：期望为0，方差为1的正态分布：$N~(0,1)$

拉普拉斯分布(Laplace distribution)

Laplace分布允许我们在任意一点$\mu$处设置概率质量的峰值：

• PDF：$Laplace(x;\mu,\gamma)=\frac{1}{2\gamma}exp(-\frac{|x-\mu|)}{\gamma})$