AI-理论-花书浅笔-D3概率论信息论

AI-理论-花书浅笔-D3概率论信息论

(AI算法系列)

1知识点

1. 使用概率
2. 随机变量
3. 概率分布
4. 边缘概率
5. 条件概率
6. 条件概率链式法则
7. 独立性、条件独立性
8. 期望、方差、协方差
9. 常用概率分布
10. 常用函数的有用性质
11. 贝叶斯规则
12. 连续变量
13. 信息论
14. 结构化概率模型

2具体内容

2.1 基本概念

1. 使用概率

   • 建模系统内随机
   • 不完全观测
   • 不完全建模

2. 随机变量

   • 随机选取不同值的变量
   • 离散随机变量拥有有限或者可数无限多的状态，不一定是整数，可以只是一些被命名的状态儿没有数值
   • 连续随机变量伴随实数值
     限多的状态

3. 概率分布

   • 离散型变量+概率质量函数
   • 连续型变量+概率密度函数

4. 边缘概率

   • 定义在子集的概率分布，对某一个维度求和。

5. 条件概率

   • 某个事件在给定其他事件发生时出现的概率

6. 条件概率链式法则

   • 任何多维随机变量的联合概率分布，都可以分解成只有一个变量的条件概率相乘的形式

7. 独立性、条件独立性

   • 两个随机变量x和y，如果它们的概率分布可以表示成两个因子的乘积形式，并且一个因子只包含x，另一个因子只包含y，我们就称这两个随机变量是相互独立的

8. 期望、方差、协方差

   • 期望（expectation）：当x由P产生，f作用于x时，f( x )的平均值
   • 方差（variance）：对x依据它的概率分布进行采样时，随机变量x的函数值会呈现多大的差异，方差的平方根被称为标准差 （standard deviation）
   • 协方差（covariance）：两个变量线性相关性的强度以及这些变量的尺度

2.2 常用概率

1. Bernoulli分布
2. Multinoulli分布
3. 高斯分布
4. 指数分布和Laplace分布
5. Dirac分布和经验分布
6. 分布混合
   • 高斯混合

2.3常用函数

1. logistic sigmoid函数
2. softplus函数
   

2.4贝叶斯规则

Jacobian矩阵，对于实值向量：

2.4 信息论

1. 自信息
2. 香农熵（微分熵）
3. KL散度

2.5 结构化概率模型（图模型）

- 这种分解极大减少用来描述一个分布的参数数量。每个因子使用参数数目是其变量数目的指数倍。使用更少变量的分解方法极大的降低表示联合分布的成本。

1. 有向
   

2. 无向
   

3待补充

无

4Q&A

无

5code

无

6参考

• https://www.deeplearningbook.org/