AMiner会议论文推荐第三十七期

AMiner平台由清华大学计算机系研发，拥有我国完全自主知识产权。平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱，提供学者评价、专家发现、智能指派、学术地图等科技情报专业化服务。系统2006年上线，吸引了全球220个国家/地区1000多万独立IP访问，数据下载量230万次，年度访问量超过1100万，成为学术搜索和社会网络挖掘研究的重要数据和实验平台。

ICLR 2021 论文推荐

Gauge Equivariant Mesh CNNs: Anisotropic convolutions on geometric graphs

论文链接：https://www.aminer.cn/pub/5e6a084591e011c28fff7068/?conf=iclr2021

推荐理由： 在网格上定义卷积的常见方法是将其解释为一个图形，并应用图形卷积网络（graph convolutional networks, GCNs）。上述GCNs利用各向同性核，因此对顶点的相对方向以及整个网格的几何结构不敏感。作者提出了广义的Gauge Equivariant Mesh CNNs，它将GCNs泛化为应用各向异性的Gauge Equivariant kernels。由于产生的特征携带方向信息，作者引入了一种几何信息传递方案，该方案通过在网格边缘平行传输特征来定义。该工作的实验验证了所提出的模型比传统的GCNs和其他方法有显著改善的表现力。

Dynamic Tensor Rematerialization

论文链接：https://www.aminer.cn/pub/5eede0b091e0116a23aafa78/?conf=iclr2021

推荐理由： 检查点通过释放中间激活并按需重新计算来训练大型模型。以往的检查点技术很难推广到动态模型，原因是它们静态地计划离线重新计算。作者提出了动态张量重物质化(Dynamic Tensor Rematerialization，DTR)，一种用于启发式检查点任意模型的贪婪在线算法。DTR是可扩展和通用的：它由一个驱逐策略进行参数化，并且只收集关于张量和运算符的轻量级元数据。此外，作者还确定了一个通用的驱逐启发式，并展示了它如何让DTR在各种模型和内存预算中自动提供有利的检查点性能。

How benign is benign overfitting?

论文链接：https://www.aminer.cn/pub/5f06e99a91e0117f54657c9b/?conf=iclr2021

推荐理由： 作者研究了深度神经网络中对抗性漏洞的两个原因：坏数据和（训练不良的）模型。当使用SGD训练时，深度神经网络基本上实现了零训练误差，在自然测试数据上也表现出良好的泛化。然而，这些模型很容易受到对抗性攻击。作者将标签噪声确定为对抗性脆弱性的原因之一，并提供理论和经验证据来支持这一点。令人惊讶的是，作者在MNIST和CIFAR等数据集中发现了几个标签噪声的实例，他们经过鲁棒训练的模型在其中一些数据集上会产生训练错误，即它们不适合噪声。然而，仅去除噪声标签并不足以实现对抗性鲁棒性。同时，作者观察到，对抗式训练确实会产生更复杂的决策边界。他们推测，对复杂决策边界的需求部分来自于次优的表征学习。通过简单的例子，该工作从理论上展示了表征的选择是如何极大地影响对抗式鲁棒性的。

Learning Mesh-Based Simulation with Graph Networks

论文链接：(https://www.aminer.cn/pub/5f7ee8c991e011a5faf0ffad/?conf=iclr2021

推荐理由： 基于网格的模拟是科学和工程中许多领域中复杂物理系统建模的核心。网格表征支持强大的数值积分方法，其分辨率可以调整，以便在精度和效率之间做出有利的权衡。然而，高维科学模拟的运行成本非常高，且求解器和参数必须经常根据所研究的每个系统进行单独调整。本文中，作者介绍了MeshGraphNets，它是一个使用图神经网络学习基于网格的模拟的框架。该模型可以在训练后的网格图上传递消息，并在正向模拟过程中适应网格的离散化。结果表明，上述模型可以准确地预测广泛的物理系统的动态，包括空气动力学、结构力学等。同时，该模型的自适应性支持学习与分辨率无关的动力学，并能在测试时扩展到更复杂的状态空间。在实验中，上述方法拓宽了神经网络模拟器的可运行问题范围，并有望提高复杂、科学建模任务的效率。

Interpreting Graph Neural Networks for NLP With Differentiable Edge Masking

论文链接：https://www.aminer.cn/pub/5f7702ed91e011f31b980728/?conf=iclr2021

推荐理由： 图形神经网络(Graph neural networks，GNNs)日渐流行，它能够将结构性归纳偏差整合到NLP模型中。然而，解释它们原理的工作很少，特别是关于理解图的哪些部分（如句法树或共同参照结构）有助于预测。在本文中，作者引入了一种用于解释GNN预测的事后方法，它可以识别不必要的边缘。给定一个训练好的GNN模型，该模型学习一个简单的分类器，对于每层中的每一个边缘，预测该边缘是否可以放弃。作者证明这种分类器可以以完全可分化的方式进行训练，采用随机门，并通过预期的规范鼓励稀疏性。同时，作者同时将他们的技术作为一种归因方法来分析两个任务的GNN模型–问题回答和语义角色标签–并提供了对这些模型中信息流的见解。该工作表明，作者能够在不降低模型性能的情况下放弃很大一部分边缘，同时分析剩余的边缘来解释模型的预测。

The Intrinsic Dimension of Images and Its Impact on Learning

论文链接：https://www.aminer.cn/pub/600832209e795ed227f530ea/?conf=iclr2021

推荐理由： 人们普遍认为，自然图像数据尽管嵌入了高维像素空间，但却呈现出低维结构。这个想法是深度学习成功的共同直觉的基础，并且已经被利用来增强正则化和对抗性鲁棒性。在这项工作中，作者将维度估计工具应用于流行的数据集，并研究低维结构在神经网络学习中的作用。该工作发现，相对于图像中的大量像素，常见的自然图像数据集确实具有非常低的内在维度。此外，作者还发现低维数据集更容易被神经网络学习。在实验中，作者验证了他们的维度估计工具由GANs生成的合成数据，在这些数据中，他们可以操纵内在维度。

AMiner学术搜索，学者+论文助你快速获得想要信息：https://www.aminer.cn/

#AMiner# #论文#