不确定建模学习笔记

一、介绍：了解我们不知道的事物的重要性

二、不确定性语言

三、贝叶斯深度学习

四、不确定性质量

五、应用

六、深入洞察

七、研究展望

 

第一节：知道我们所不知道的。

1.1 Aleatoric uncertainty and epistemic uncertainty 任意不确定性和认知不确定性

认知不确定性也称model uncertainty（模型不确定性），包含uncertainty in model parameters和structure uncertainty。

任意不确定性和认知不确定性可用于推导预测性不确定性（预测数据的置信水平）

第二节：不确定的语言

2.1 贝叶斯建模

变分推理

概率分布优化替代点估计

2.2 贝叶斯神经网络

 对于普通的神经网络来讲，需要设计好损失函数，通过SDG、Adam等优化器进行优化求得最优参数，使得Loss最小，而对于贝叶斯神经网络，需要最小化的便是KL散度，我们需要将KL散度拆分成方便计算求解的项。

第三节 贝叶斯深度学习

3.1先进推断方法

目标函数最小化

为了降低计算量，采用子采样

MC 蒙特卡洛方法估计log 的期望

3种方法：Score function   Pathwise deriative  Chacracrer function

3.2实用推断