【NeurIPS100】谷歌、Facebook、斯坦福等十篇机器学习最新论文解读

NeurIPS 2019虽然刚刚落幕，但是学习的任务还远未结束。

今天我们整理了NeurIPS 2019上十篇机器学习领域的论文，这些论文来自谷歌、Facebook、普林斯顿大学、斯坦福大学等团队的最新研究成果，供大家参考学习

1

Differentiable Ranks and Sorting using Optimal Transport

基于优化运输的可微排序

论文作者：

Marco Cuturi, Olivier Teboul, Jean-Philippe Vert（谷歌）

技术领域：

机器学习理论

点此进入“论文地址”

摘要

排序广泛用于机器学习中，以定义基本算法（例如k最近邻居（k-NN）规则），或定义测试时间指标（例如top-k分类准确性或排名损失）。但是，排序对于深度学习的端到端，可自动区分的管道来说是一种不太好的匹配。排序过程输出两个向量，这两个向量都不是可微的：排序值的向量是分段线性的，而排序置换本身（或它的倒数，即秩的向量）没有可微的性质，因为它是整数值。在本文中，我们提出使用可微分的代理替换常规的排序过程。我们的代理基于这样一个事实，即排序可以看作是一种最佳分配问题，其中要排序的n个值与任何增加的n个目标值族支持的辅助概率测度相匹配。根据此观察，我们通过考虑最佳运输（OT）问题（分配的自然松弛）提出扩展的排序和排序算子，其中辅助度量可以是m个增加值（其中m ≠ n）上支持的任何加权度量。我们通过用熵惩罚对这些OT问题进行正则化来恢复微分算子，并通过应用Sinkhorn迭代来解决它们。使用这些平滑的等级和排序运算符，我们为分类0/1损失以及分位数回归损失提出了可区分的代理。

 

2

A Simple Baseline for Bayesian Uncertainty in Deep Learning

深度学习中贝叶斯不确定性的简单基准

论文作者：

Wesley Maddox, Timur Garipov, Pavel Izmailov, Dmitry Vetrov, Andrew Gordon Wilson（纽约大学，莫斯科三星人工智能中心，俄罗斯高等经济研究大学）

技术领域：

机器学习，计算机视觉，模式识别

点此进入“论文地址”

摘要

本文提出了SWA-Gaussian（SWAG），一种可用于深度学习中不确定性表示和校准的简单、可扩展的通用方法。随机权重平均（SWA）可通过修改后的学习率计划来计算随机梯度下降（SGD）迭代的一阶矩，该方法可改善深度学习的通用性。我们使用SWA解作为一阶矩拟合高斯函数，并且从SGD迭代获得低秩加对角协方差，从而在神经网络权重上形成近似后验分布；然后，再从该高斯分布中采样以执行贝叶斯模型平均。实验结果表明，SWAG近似于真实