14.4-8 随机变分深度核学习

weixin_42963026

已于 2023-10-27 23:33:29 修改

阅读量58

点赞数

文章标签：学习

于 2023-10-27 16:32:02 首次发布

本文链接：https://blog.csdn.net/weixin_42963026/article/details/134078611

版权

文献来源：A. G. Wilson, Z. Hu, R. R. Salakhutdinov, and E. P. Xing, “Stochastic variational deep kernel learning,” in Advances in Neural InformationProcessing Systems . Red Hook, NY, USA: Curran, 2016, pp. 2586–2594.

摘要

深度核学习将核方法的非参数灵活性与深度学习架构的归纳偏差相结合。本文提出一种新的深度核学习模型和随机变分推理过程，泛化了深度核学习方法，以实现分类、多任务学习、加性协方差结构和随机梯度训练。将加性基核应用于深度神经架构的输出特征子集，并通过高斯过程边缘似然目标联合学习基核和深度网络的参数。在这个框架中，推导出一种有效的随机变分推理形式，利用局部核插值、诱导点和结构利用代数。在几个分类基准上，表现出了比独立深度网络、svm和最先进的可扩展高斯过程更好的性能，包括包含600万训练点的航空延误数据集、CIFAR和ImageNet。

1 Introduction

大型数据集为学习丰富的统计表示提供了巨大的机会，为对建模问题的准确预测和新的科学见解提供了机会。高斯过程在处理大数据问题时很有前途，因为它们可以随着可用数据量的增加，以及自动校准模型的复杂性而增长其信息容量[21,25]。

从高斯过程的角度来看，数据中的所有统计结构都是通过核函数学习的。流行的核函数，如RBF核，可以提供平滑和插值，但不能学习长程外推所需的表示[22,25]。使用平滑核，我们只能使用大型数据集中的信息来学习噪声和长度尺度的超参数，它们只能告诉我们数据中的相关性随着输入空间中的距离变化有多快。如果我们学习一个短长度尺度的超参数，那么根据定义，我们将只使用每个测试点附近的少量训练数据。如果我们学习较长的长度尺度，那么我们可以对数据进行子采样并做出类似的预测。

因此，为了充分利用大型数据集中的信息，我们必须构建具有强大表示能力和有用学习偏差的核，并在不牺牲这种表示能力的情况下扩展这些方法。事实上，许多最近的方法都主张构建表达性核函数[例如，22,9,26,25,17,31]，这个方向的新兴研究从深度学习模型[例如，28,5,3]中获得灵感。然而，此类方法的可扩展性、普遍适用性和可解释性仍然是一个挑战。最近，Wilson等人([30])针对单输出回归问题提出了简单且可扩展的深度核，在许多实验中具有良好的性能。但是他们的方法不允许随机训练、多输出、具有许多输出特征的深度架构或分类。它是关于分类问题的，特别是，我们经常有高维输入向量，对这些向量应该如何相互关联的直觉很少，因此大多数想学习一个灵活的非欧氏相似性度量[1]。

本文介绍了推理过程，并提出了一种新的深度核学习模型，使(1)分类和非高斯似然；(2)多任务学习；(3)随机梯度小批量训练；(4)输出特征丰富的深度架构；(5)加性协方差结构；(5)大大增强了可扩展性。

本文建议将与高斯过程(GPs)相对应的加性基核应用于深度神经架构的输出特征子集。然后，对这些高斯过程进行线性混合，在多个输出变量之间诱导相关性。结果是一个深度概率神经网络，其隐藏层由无限基函数的相加集组成，线性混合以产生相关的输出变量。深度架构和基础核的所有参数通过边际似然目标联合学习，已经集成了所有GPs。对于可扩展性和非高斯似然，本文推导出随机变分推理(SVI)，利用局部核插值、诱导点和结构利用代数，以及一种混合采样方案，建立在Wilson和Nickisch [27]， Wilson等人[29]，Titsias [24]， Hensman等人[10]和Nickson等人[18]的基础上。由此产生的方法SV-DKL，对于m个诱导点和D个输入维度，其复杂度为O(m1+1/D)，而对于有效的随机变分方法，其复杂度为O(m3)。

我们在广泛的分类任务中实现了良好的预测准确性和可扩展性，同时保留了一个简单的、通用的、高度实用的概率非参数表示，代码可在我们在以下网址处获得

https://people.orie.cornell.edu/andrew/code