目录
0、基础
- 随机事件:随机事件是在随机试验中,可能出现也可能不出现,而在大量重复试验中具有某种规律性的事件叫做随机事件(简称事件)。
- 样本空间Ω与样本点:把随机实验的一切可能结果的全体称为样本空间Ω,其中实验的每个结果就称做样本点。
- 必然事件:在一定的条件下重复进行试验时,有的事件在每次试验中必然会发生。必然事件发生的概率为1,但概率为1的事件不一定为必然事件。
- 不可能事件:不可能发生。不可能事件的概率为0。但概率为0的事件不一定为不可能事件。
- 空集Φ:空集也是样本空间的一个子集。可以将集合想象成一个装有元素的袋子,而空集的袋子是空的,但袋子本身确实是存在的。
- 全集:一般的,如果一个集合含有我们所研究问题中涉及的所有元素,那么就称这个集合为全集,通常记作U。实际中我们只把给定的样本(数据)当做全集。
- 事件的运算
- 包含:A包含于B、A⊂B或B包含A。
- 相等:若事件A与B含有相同的样本点,则称事件A与B相等,记为A=B。
- 和事件:若某事件发生是事件A与事件B中至少有一个发生的充要条件,则称此事件为事件A与事件B的并事件(或和事件)记作A∪B(或A+B)。
- 差事件:由事件A出现而事件B不出现所组成的事件称为事件 A 与 B 的差事件, 记作 A-B。
- 积事件:若某事件发生当且仅当事件A且事件B发生,则称此事件为事件A与事件B的交事件(或积事件),记做A∩B(或AB)。
- 互斥事件:若A∩B 为不可能事件,那么称事件A与事件B互斥,其含义是事件A与事件B在任何一次试验中都不会同时发生。
- 事件A的对立事件:若A为不可能事件, B为必然事件,那么称事件A与事件B互为对立事件,其含义是事件A与事件B在任何一次试验中有且仅有一个发生。
- 运算律
- 排列:从n个不同元素中每次取出m(1≤m≤n)个不同元素,排成一列。当且仅当两个排列的元素完全相同,且元素的排列顺序也相同,则两个排列相同。计算公式:
- 组合:从n个不同元素中每次取出m个不同元素(0≤m≤n),不管其顺序合成一组。
1、部分概率
- 条件概率:条件概率是指事件A在另外一个事件B已经发生条件下的发生概率。条件概率表示为:P(A|B),读作“在B的条件下A的概率”。 常常应用在判别模型。
- 联合概率:指在多元的概率分布中多个随机变量分别满足各自条件的概率,表示两个事件共同发生的概率。A与B的联合概率表示为 P(AB) 或者P(A,B),或者P(A∩B)。
联合概率和条件概率的转换运算:、
- 全概率:
2、部分概率分布
- 概率分布:表述随机变量取值的概率规律。
- 均匀分布:
- 离散分布:
- 期望与方差:
- 期望:E(x)总体均值。计算公式:
(离散分布)、
(连续分布)
- 方差:Var衡量数据离散程度。方差用来度量随机变量和其数学期望(即均值)之间的偏离程度。计算公式:
- 标准差(std):方差开根号。
- 高斯分布:σ越大越高越集中 μ决定中轴位置
3、部分定理
- 贝叶斯定理
- 公式 :
- 解释:P(B|A)后验概率 、P(A|B)似然概率、P(B)先验概率、 P(A)全概率
- 中心极限定理:在自然界与生产中,一些现象受多个相互独立的随机因素的影响,如果每个因素所产生的的影响都很微小时,总的影响可以看成服从正太分布
4、信息论
- 信息熵:衡量信“事件”息量。
- 熵:
- 条件熵:
- 相对熵/KL距离/KL散度:
- 交叉熵: