最近热门技术速览[2019.12]

全球技术报告  公众号：aihaoers

 

12月热门技术大家都在看，共计5篇

 

【1】概率建模与推理的规范化流程

标题：概率建模与推理的规范化流程

作者：George Papamakarios, Eric Nalisnick, Danilo Jimenez Rezende, Shakir Mohamed, Balaji Lakshminarayanan

概要：规范化流提供了定义表示概率分布的一般机制，只需要指定一个（通常是简单的）基分布和一系列双射变换。最近有很多关于规范化流的工作，从提高流的表达能力到扩展流的应用。我们认为，这个领域现在已经成熟，需要一个统一的视角。在这篇综述中，我们试图从概率建模和推理的角度来描述流，从而提供这样一个视角。我们特别强调流设计的基本原理，并讨论诸如表达能力和计算折衷的基础性主题。我们还通过将流与更一般的概率变换联系起来，拓宽了流的概念框架。最后，我们总结了流的使用，如生成建模，近似推理和监督学习的任务。

链接：https://arxiv.org/pdf/1912.02762v1.pdf

 

【2】Pythorch：一个命令式、高性能的深度学习库

标题：Pythorch：一个命令式、高性能的深度学习库

作者：Adam Paszke, Sam Gross, Francisco Massa, Adam Lerer, James Bradbury, Gregory Chanan, Trevor Killeen, Zeming Lin, Natalia Gimelshein, Luca Antiga, Alban Desmaison, Andreas Köpf, Edward Yang, Zach DeVito, Martin Raison, Alykhan Tejani, Sasank Chilamkurthy, Benoit Steiner, Lu Fang, Junjie Bai, Soumith Chintala

概要：深度学习框架通常关注可用性或速度，但不是两者兼而有之。PyTorch是一个机器学习库，它表明这两个目标实际上是兼容的：它提供了一种命令式和python式的编程风格，支持代码作为模型，使调试变得容易，并且与其他流行的科学计算库一致，同时保持效率并支持gpu等硬件加速器。在本文中，我们详细介绍了Pythorch实现的原理以及它们在其体系结构中的体现。我们强调PyTorch的每一个方面都是一个由用户完全控制的常规Python程序。我们还解释了其运行时关键组件的谨慎和实用的实现如何使它们协同工作以获得令人信服的性能。

我们在几个公共基准上演示了各个子系统的效率以及PyTorch的总体速度。

链接：https://arxiv.org/pdf/1912.01703v1.pdf

 

【3】深度学习中的数学符号

标题：深度学习中的数学符号

作者：Guillaume Lample, François Charton

概要：神经网络比在执行计算或使用符号数据时更善于解决统计或近似问题。在这篇文章中，我们证明了他们在数学中更精细的工作，如符号积分和求解微分方程方面的出色表现。我们提出了一种表示数学问题的语法，以及生成可用于训练序列到序列模型的大型数据集的方法。我们得到的结果优于商业计算机代数系统，如Matlab或Mathematica。

链接：https://arxiv.org/pdf/1912.01412v1.pdf

 

【4】神经切线：Python中快速简单的无限神经网络

标题：神经切线：Python中快速简单的无限神经网络

作者：Roman Novak, Lechao Xiao, Jiri Hron, Jaehoon Lee, Alexander A. Alemi, Jascha Sohl-Dickstein, Samuel S. Schoenholz

概要：Neural Tangents是一个用于研究无限宽神经网络的库。它提供了一个高级API，用于指定复杂的分层神经网络体系结构。然后，这些网络可以像往常一样在有限宽度或在无限宽度限制下进行训练和评估。无限宽网络可以通过精确的贝叶斯推理进行解析训练，也可以通过神经切线核进行梯度下降训练。此外，神经切线为研究宽而有限网络在函数空间或权值空间中的梯度下降训练动力学提供了工具。整个库都在CPU、GPU或TPU上运行。所有的计算都可以自动地分布在多个加速器上，在设备数量上几乎是线性的。此http URL提供神经切线。我们还提供了一个附带的交互式Colab笔记本。

链接：https://arxiv.org/pdf/1912.02803v1.pdf

 

【5】PointRend：图像分割为渲染

标题：PointRend：图像分割为渲染

作者：Alexander Kirillov, Yuxin Wu, Kaiming He, Ross Girshick

概要：提出了一种有效的高质量图像分割方法。通过将经典的计算机图形学方法与像素标记任务中的过采样和欠采样挑战相类比，我们发展了一种独特的图像分割作为渲染问题的观点。从这个角度出发，我们提出了PointRend（Point-based Rendering）神经网络模块：一个基于迭代细分算法在自适应选择的位置执行基于点的分割预测的模块。在现有的最新模型的基础上，可以灵活地应用于实例和语义分割任务。虽然许多具体实现的总体思路是可能的，我们表明，一个简单的设计已经取得了良好的效果。从质量上讲，PointRend在被先前方法过度平滑的区域中输出清晰的对象边界。从数量上讲，PointRend在COCO和cityscape上都获得了显著的收益，比如语义分割。PooWrand的效率使得输出分辨率与现有方法相比在存储器或计算方面是不切实际的。

链接：https://arxiv.org/pdf/1912.08193v1.pdf

 

机器翻译，必要参考