CS281: Advanced Machine Learning 第二节 probability theory 概率论

概率论基本概念

离散变量

概率论中的两个基本法则：加法法则和乘法法则，加法法则定义了随机变量X与条件变量Y之间的直接联系。乘法法则定义了概率学中最重要的条件概率，同时也可以叫做联合概率，因为它描述了事件X和Y同时发生的概率。

通过上面公式可以推到出条件概率公式：

进而可以得到著名的贝叶斯公式，贝叶斯公式广泛的应用于科学界，这也被称为后验概率，因为它在咱们知道了p（Y=y）这个先验概率之后才能计算出来。

先验概率

上面公式中的P（X）就是先验概率，因为当我们得到它的时候，并不知道P（Y）的分布是什么样的。

后验概率

上面公式中的P(X|Y)是后验概率，因为它的概率是在我们观察到Y之后得到的

如果两个随机变量x，y满足以下公式，那么说明他们是互相独立的：

如果三个随机变量x，y，z满足以下公式，那么说明x与y是条件独立的：

连续随机变量

对于连续随机变量X落在区间（a，b）的概率为：

连续随机变量也具有以下性质，概率非负性，以及随机变量在所有范围内发生的概率为1.

以下是连续型随机变量的CDF（ cumulative distribution function ），表示了在随机变量x属于区间a到b的概率。

期望和方差

对于离散型随机变量，其期望就相当于各个随机变量的加权平均，而权值就是各个随机变量的概率：

对于连续型随机变量，和离散型随机变量类似，只是累加符号改为了积分：

方差衡量的是整个随机变量的离散度，越大代表随机变量的取值范围越宽。

协方差可以用来衡量两个随机变量之间的关系，是相关系数的重要组成部分：

离散随机分布

伯努利分布 Bernoulli distribution

伯努利分布是最简单的二元分布，随机变量取值0或者1，其分布表达如下：

当x=1的时候，其概率为μ， 当x=0的时候，概率为1-μ。

伯努利分布的期望和方差如下：

二项分布 binomial distribution 
 

二项分布，表示的是做n次试验࿰