概率论基本概念
离散变量
概率论中的两个基本法则:加法法则和乘法法则,加法法则定义了随机变量X与条件变量Y之间的直接联系。乘法法则定义了概率学中最重要的条件概率,同时也可以叫做联合概率,因为它描述了事件X和Y同时发生的概率。
通过上面公式可以推到出条件概率公式:
进而可以得到著名的贝叶斯公式,贝叶斯公式广泛的应用于科学界,这也被称为后验概率,因为它在咱们知道了p(Y=y)这个先验概率之后才能计算出来。
先验概率
上面公式中的P(X)就是先验概率,因为当我们得到它的时候,并不知道P(Y)的分布是什么样的。
后验概率
上面公式中的P(X|Y)是后验概率,因为它的概率是在我们观察到Y之后得到的
如果两个随机变量x,y满足以下公式,那么说明他们是互相独立的:
如果三个随机变量x,y,z满足以下公式,那么说明x与y是条件独立的:
连续随机变量
对于连续随机变量X落在区间(a,b)的概率为:
连续随机变量也具有以下性质,概率非负性,以及随机变量在所有范围内发生的概率为1.
以下是连续型随机变量的CDF(
cumulative distribution function ),表示了在随机变量x属于区间a到b的概率。
期望和方差
对于离散型随机变量,其期望就相当于各个随机变量的加权平均,而权值就是各个随机变量的概率:
对于连续型随机变量,和离散型随机变量类似,只是累加符号改为了积分:
方差衡量的是整个随机变量的离散度,越大代表随机变量的取值范围越宽。
协方差可以用来衡量两个随机变量之间的关系,是相关系数的重要组成部分:
离散随机分布
伯努利分布 Bernoulli distribution
伯努利分布是最简单的二元分布,随机变量取值0或者1,其分布表达如下:
当x=1的时候,其概率为μ, 当x=0的时候,概率为1-μ。
伯努利分布的期望和方差如下:
二项分布 binomial distribution
二项分布,表示的是做n次试验