Introduction
目前不确定性量化方法:
1、基于贝叶斯神经网络
2、非贝叶斯方法,如模型集成(Model Ensembling)等
SDE-Net: stochastic differential equation,随机微分方程网络 贡献:
1、明确建模了Aleatoric Uncertainty(固有)和Epistemic Uncertainty(人为),并can在其预测中分离出不确定性的来源
2、实现高效简洁,无需指定先验分布并推断在BNN中的后验分布
3、同时试用于分类和回归任务
从动力学角度分析,DNN正向传播可以看成动态系统的状态转换,可用常微分方程(ODE)表示,然鹅神经ODE是确定的,无法捕捉不确定性特征,因此采用SDE描述隐藏状态的变换,并添加一个布朗运动来量化Epistemic Uncertainty。SDE模型由控制系统以获得良好预测精度的drift net和描述随机环境中模型不确定性的diffusion net构成。
基于贝叶斯神经网络的缺陷:
1、DNN参数难以指定先验分布
2、DNN中参数繁多,难以解决精确的参数后验推理
大多数学习贝叶斯神经网络的方法分为:变分推理和马尔科夫链蒙特卡洛方法,此方法非常耗时,代价高
Method
布朗运动
定义:
1、X(0)=0
2、对任意t>s>=0,X(t)-X(s)~N(0,t-s) 标准布朗运动
3、独立增量
理想表现:
流程图;
伪代码:
图中红框解释:
X
k
N
M
X^{N_M}_k
XkNM表示上一个状态,
f
f
f表示drift neural net,g表示diffusion neural net,
Z
k
∼
N
(
0
,
1
)
Z_k\sim N(0,1)
Zk∼N(0,1)(标准高斯随机变量),
Δ
t
=
T
/
N
\Delta t=T/N
Δt=T/N 这个时间间隔 [0, T]一直不是很理解