【深度学习】数学基础——概率论与信息论

目录

0、基础

1、部分概率

2、部分概率分布

3、部分定理

4、信息论


0、基础

  • 随机事件:随机事件是在随机试验中,可能出现也可能不出现,而在大量重复试验中具有某种规律性的事件叫做随机事件(简称事件)。
  • 样本空间Ω与样本点:把随机实验的一切可能结果的全体称为样本空间Ω,其中实验的每个结果就称做样本点。
  • 必然事件:在一定的条件下重复进行试验时,有的事件在每次试验中必然会发生。必然事件发生的概率为1,但概率为1的事件不一定为必然事件。
  • 不可能事件:不可能发生。不可能事件的概率为0。但概率为0的事件不一定为不可能事件。
  • 空集Φ:空集也是样本空间的一个子集。可以将集合想象成一个装有元素的袋子,而空集的袋子是空的,但袋子本身确实是存在的。
  • 全集:一般的,如果一个集合含有我们所研究问题中涉及的所有元素,那么就称这个集合为全集,通常记作U。实际中我们只把给定的样本(数据)当做全集。
  • 事件的运算
  1. 包含:A包含于B、A⊂B或B包含A。
  2. 相等:若事件A与B含有相同的样本点,则称事件A与B相等,记为A=B。
  3. 和事件:若某事件发生是事件A与事件B中至少有一个发生的充要条件,则称此事件为事件A与事件B的并事件(或和事件)记作A∪B(或A+B)。
  4. 差事件:由事件A出现而事件B不出现所组成的事件称为事件 A 与 B 的差事件, 记作 A-B。
  5. 积事件:若某事件发生当且仅当事件A且事件B发生,则称此事件为事件A与事件B的交事件(或积事件),记做A∩B(或AB)。
  6. 互斥事件:若A∩B 为不可能事件,那么称事件A与事件B互斥,其含义是事件A与事件B在任何一次试验中都不会同时发生。
  7. 事件A的对立事件:若A为不可能事件, B为必然事件,那么称事件A与事件B互为对立事件,其含义是事件A与事件B在任何一次试验中有且仅有一个发生。
  8. 运算律

  • 排列:从n个不同元素中每次取出m(1≤m≤n)个不同元素,排成一列。当且仅当两个排列的元素完全相同,且元素的排列顺序也相同,则两个排列相同。计算公式:

 

  • 组合:从n个不同元素中每次取出m个不同元素(0≤m≤n),不管其顺序合成一组。

  

1、部分概率

  • 条件概率:条件概率是指事件A在另外一个事件B已经发生条件下的发生概率。条件概率表示为:P(A|B),读作“在B的条件下A的概率”。 常常应用在判别模型。
  • 联合概率:指在多元的概率分布中多个随机变量分别满足各自条件的概率,表示两个事件共同发生的概率。A与B的联合概率表示为 P(AB) 或者P(A,B),或者P(A∩B)。

联合概率和条件概率的转换运算:P(AB)= P(A|B)P(B)P(A)=\sum_{B}^{ }P(AB)

  • 全概率:P(A)=\sum_{i}^{ }P(A|B_{i})P(B_{i})

2、部分概率分布

  • 概率分布:表述随机变量取值的概率规律。
  • 均匀分布:
  • 离散分布:

  

  • 期望与方差:
  1. 期望:E(x)总体均值。计算公式:E(x)=\sum x_{k}p(x_{k})(离散分布)、E(x)=\int xp(x)dx(连续分布)
  2. 方差:Var衡量数据离散程度。方差用来度量随机变量和其数学期望(即均值)之间的偏离程度。计算公式:\sigma ^{2}=\frac{\sum (X-\mu )^{2}}{N}
  3. 标准差(std):方差开根号。
  • 高斯分布:σ越大越高越集中 μ决定中轴位置

       

3、部分定理

  • 贝叶斯定理
  1. 公式 :P(B|A)=\frac{P(A|B)P(B)}{P(A)}
  2. 解释:P(B|A)后验概率 、P(A|B)似然概率、P(B)先验概率、 P(A)全概率

【马同学——怎样用非数学语言讲解贝叶斯定理】

  • 中心极限定理:在自然界与生产中,一些现象受多个相互独立的随机因素的影响,如果每个因素所产生的的影响都很微小时,总的影响可以看成服从正太分布

       

【彻底理解中心极限定理】

4、信息论

  • 信息熵:衡量信“事件”息量。I(x)=log_{2}(p(x))
  • 熵:H(x)=-\sum p(x)log_{2}(p(x))

【马同学——如何通俗的理解熵?】

  • 条件熵:H(X|Y)=\sum_{}^{}H(X|Y)=\sum_{x}^{ }\sum_{y}^{ }(p(x,y)log(p(x|y)))
  • 相对熵/KL距离/KL散度:D_{kl}(p(x)||q(x))=\sum_{i}^{ }\{p(x_{i})log\frac{p(x_{i})}{q(x_{i})}\} =\sum_{i}^{ }\{(p(x_{i})logp(x_{i})\}-\sum_{i}^{ }\{p(x_{i})logq(x_{i})\}
  • 交叉熵:H(p(x), q(x))=-\sum_{i}^{ }\{p(x_{i})log(q(x_{i}))\}

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值