Example: Bayesian Neural Network — NumPyro documentation
uvadlc-notebooks 代码 UvA DL Notebooks 是由阿姆斯特丹大学提供的一系列 Jupyter 笔记本教程
github.com/phlippe/uvadlc_notebooks
注意,这些文档,也是有对应的版本的,左侧栏,的右下角,可以选择版本
( Sphinx — Sphinx documentation Sphinx — Sphinx documentation
https://www.sphinx-doc.org/生成的文档)其他教程
num.pyro.ai/en/stable/examples/bnn.html
docs.pyro.ai/en/stable/
===========================================
项目简介
UVaDLC Notebooks是一个由Philipp(Phlippe)维护的开源项目,它包含了University of Virginia深度学习课程的全套Jupyter Notebook教程。这个项目不仅提供了丰富的理论知识,而且配套了实用的编程示例,让学习者能够更好地理解和应用深度学习技术。技术分析
Jupyter Notebook
项目基于Jupyter Notebook,这是一种交互式计算环境,允许用户混合编写代码、文本和数学公式。这种格式便于理解复杂的算法,并提供了一种即时反馈的学习体验。深度学习框架
教程涵盖了TensorFlow和PyTorch两种主流深度学习库,使学生可以灵活选择适合自己的工具进行学习和实践。结构化课程内容
每个Notebook都按照课程章节组织,从基础知识到进阶主题,逐步引导学习者深入。这使得自学者可以根据自身的进度和需求自由选择学习路径。应用场景
UVaDLC Notebooks非常适合以下用户:初学者:希望入门深度学习并寻找结构化的学习资源。
研究人员:需要快速回顾某个特定概念或算法。
教师:在课堂上采用互动式的教学方式。
开发者:想要利用深度学习解决实际问题。
项目特点
实战导向:每个理论知识点都有配套的代码实现,鼓励动手实践。
实时更新:随着深度学习领域的快速发展,项目保持与最新技术和研究同步。
详尽解释:注释清晰,逻辑严谨,帮助理解复杂概念。
社区支持:通过GitHub,用户可以提交问题,贡献代码,共同进步。
- 使用Pyro的贝叶斯神经网络
- 在GitHub上编辑
教程1:使用Pyro的贝叶斯神经网络
填满的笔记本:-最新版本(V04/23):这款笔记本电脑
空笔记本:-最新版本(V04/23): 编辑
作者:伊尔泽·阿曼达·奥兹纳、伦纳德·贝雷斯卡、亚历山大·蒂曼斯和埃里克·纳利斯尼克
贝叶斯神经网络
贝叶斯神经网络是一种概率模型,它允许我们通过将网络的权重和偏差表示为概率分布而不是固定值来估计预测中的不确定性。这使我们能够整合先前的知识模型中的权重和偏差,以及更新我们的信念当我们观察数据时。
数学上,贝叶斯神经网络可以表示如下:
给定一组输入数据x,我们要预测相应的输出y。神经网络将这种关系表示为一个函数f(x,θ),在哪里θ是网络的权重和偏差。在贝叶斯神经网络中,我们将权重和偏差表示为概率分布,因此f(x,θ)成为可能输出的概率分布:
p(y|x,D)=∫p(y|x,θ)p(θ|D)dθ
在哪里p(y|x,θ)是似然函数,它给出了观察的概率y考虑到x和θ,以及p(θ|D)是给定观察数据的权重和偏差的后验分布D.
为了进行预测,我们使用后验预测分布:
p(y∗|x∗,D)=∫p(y∗|x∗,θ)p(θ|D)dθ
在哪里x∗是一个新的输入y∗是相应的预测输出。
为了估计(难以处理的)后验分布p(θ|D),我们可以使用马尔可夫链蒙特卡罗(MCMC)或变分推断(VI)。
模拟数据
让我们从正弦函数中产生噪声观测值。
[3]:
Pyro入门
让我们现在安装Pyro。在此步骤之后,您可能需要重新启动运行时。
[4]:
!pip install pyro-ppl
具有高斯先验和似然的贝叶斯神经网络
我们的第一个贝叶斯神经网络对权重采用高斯先验,对数据采用高斯似然函数。该网络是具有一个隐藏层的浅层神经网络。
具体来说,我们在权重上使用以下先验θ:
p(θ)=N(0,10⋅I),在哪里I是单位矩阵。
为了训练网络,我们定义了一个似然函数,将网络的预测输出与实际数据点进行比较:
p(yi|xi,θ)=N(NNθ(xi),σ2),有先验σ∼Γ(1,1).
这里,yi表示的实际输出i第个数据点,xi表示该数据点的输入,σ是正态分布的标准偏差参数NNθ浅层神经网络是否由参数化θ.
注意,我们使用σ2代替σ因为我们使用了高斯先验σ当执行变分推断时,希望避免标准差为负值。
[5]:
定义并运行马尔可夫链蒙特卡罗采样器
首先,我们可以使用MCMC来计算无偏估计关于p(y|x,D)=Eθ∼p(θ|D)[p(y|x,θ)]通过蒙特卡罗抽样。具体来说,我们可以近似Eθ∼p(θ|D)[p(y|x,θ)]如下所示:
Eθ∼p(θ|D)[p(y|x,θ)]≈1N∑i=1Np(y|x,θi),
在哪里θi∼p(θi|D)∝p(D|θ)p(θ)是从后验分布中抽取的样本。因为归一化常数是难以处理的,我们需要MCMC方法,如哈密尔顿蒙特卡罗,从非归一化后验样本中抽取样本。
在这里,我们使用不掉头( 坚果)内核。
[6]:
Sample: 100%|██████████| 100/100 [04:57, 2.98s/it, step size=3.40e-04, acc. prob=0.959]
我们计算并绘制预测分布。
[7]:
[8]:
[9]:
plot_predictions(preds)
练习1:深度贝叶斯神经网络
我们可以以类似的方式定义深度贝叶斯神经网络,在权重上具有高斯先验:
p(θ)=N(0,5⋅I).
似然函数也是高斯函数:
p(yi|xi,θ)=N(NNθ(xi),σ2),与σ∼Γ(0.5,1).
实现深度贝叶斯神经网络并运行MCMC以获得后验样本。计算并绘制预测分布。使用以下网络架构:隐层数:5,每层隐单元数:10,激活函数:Tanh,先验尺度:5。
[10]:
用MCMC训练深BNN…
[11]:
Sample: 100%|██████████| 100/100 [12:04, 7.24s/it, step size=6.85e-04, acc. prob=0.960]
计算预测分布…
[12]:
predictive = Predictive(model=model, posterior_samples=mcmc.get_samples()) preds = predictive(x_test) plot_predictions(preds)
用平均场变分推理训练贝叶斯网络
我们现在将转向变分推理。因为归一化后验概率密度p(θ|D)是难以处理的,我们用一个易处理的参数化密度来近似它qϕ(θ)在概率密度家族中Q。变化的参数表示为ϕ而变化的密度在Pyro中被称为“导子”。目标是通过最小化KL散度找到最接近后验概率的变分概率密度
KL(qϕ(θ)||p(θ|D))
关于变分参数。然而,直接最小化KL散度是不容易处理的,因为我们假设后验密度是难以处理的。为了解决这个问题,我们使用贝叶斯定理来获得
原木p(D|θ)=KL(qϕ(θ)||p(θ|D))+ELBO(qϕ(θ)),
在哪里ELBO(qϕ(θ))是证据下限,由提供
ELBO(qϕ(θ))=Eθ∼qϕ(θ)[原木p(y|x,θ)]−KL(qϕ(θ)||p(θ)).
通过最大化ELBO,我们间接地最小化变分概率密度和后验密度之间的KL散度。
变密度随机变分推理的建立qϕ(θ)通过使用带有对角协方差矩阵的正态概率密度:
[13]:
如前所述,我们从训练的变化密度计算预测分布抽样。
[14]:
predictive = Predictive(model, guide=mean_field_guide, num_samples=500) preds = predictive(x_test) plot_predictions(preds)
练习2:使用变分推理的贝叶斯更新
如果我们获得新的数据点,表示为D′,在使用观察值执行变分推断之后D?
[15]:
贝叶斯更新
当新的观察变得可用时,我们如何使用变分推理对模型执行贝叶斯更新?
我们可以使用先前计算的后验概率密度作为新的先验,并用新的观测值更新后验概率密度。具体地,更新后的后验概率密度由下式给出:
p(θ|D′)=p(D′|θ)qϕ(θ)∫p(D′|θ)qϕ(θ)
请注意,我们希望仅使用新的观察来更新我们的模型D′依赖于这样的事实,即用作我们的新先验的变分密度携带了关于旧观测的必要信息D.
在Pyro中实现
为了在Pyro中实现这一点,我们可以从guide
并且使用它们来初始化新模型中的先验,该新模型类似于用于变分推断的原始模型。
从高斯guide
我们可以将变分参数(平均值和标准偏差)提取为:
练习2.1学习旧观察的模型
首先,如前所述,我们使用高斯先验定义一个模型N(0,10⋅I).
训练模特
MyFirstBNN
根据旧的观察D使用变分推理AutoDiagonalNormal()
作为向导。
[16]:
[17]:
接下来,我们可以从中提取变分参数(均值和标准差)guide
并且使用它们来初始化新模型中的先验,该新模型类似于用于变分推断的原始模型。
[18]:
[19]:
练习2.2用变化的参数初始化第二个模型
定义一个新模型,类似于
MyFirstBNN(PyroModule)
,它采用变分参数并使用它们来初始化先验。
[20]:
练习2.3对新模型进行变分推理
然后使用新的观察值对这个新模型进行变分推断,并绘制预测分布图。你观察到了什么?预测分布与练习2.1中获得的分布相比如何?
[21]:
[22]: