AMiner 会议论文推荐第二十期

AMiner平台由清华大学计算机系研发，拥有我国完全自主知识产权。平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱，提供学者评价、专家发现、智能指派、学术地图等科技情报专业化服务。系统2006年上线，吸引了全球220个国家/地区1000多万独立IP访问，数据下载量230万次，年度访问量超过1100万，成为学术搜索和社会网络挖掘研究的重要数据和实验平台。

IJCAI 2020 论文推荐

Intelligent Virtual Machine Provisioning in Cloud Computing

虚拟机(VM)供应是云计算中常见的关键问题。在工业云平台中，每天都要配置大量的虚拟机。由于复杂性和资源限制，需要对其进行仔细优化以使云平台有效利用资源。此外，在实践中，从头开始配置一个虚拟机需要相当长的时间，这将降低客户体验。因此，建议提前为即将到来的需求配置虚拟机。

在这项工作中，作者将实际场景制定为预测性虚拟机调配（PreVMP）问题，其中即将到来的需求是未知的并且需要提前预测，然后根据预测的需求优化虚拟机调配计划。此外，作者提出了不确定性感知启发式搜索（UAHS）来解决PreVMP问题。UAHS首先对预测的不确定性进行建模，然后利用预测的不确定性进行优化。此外，UAHS利用贝叶斯优化技术将预测和优化交互起来，以提高其实际性能。

大量的实验表明，UAHS在两个公共数据集和一个工业数据集上的表现远优于最先进的竞争对手。UAHS已成功应用于微软Azure，并在实际应用中带来了实际效益。

论文链接：https://www.aminer.cn/pub/5ef96b048806af6ef277209b?conf=ijcai2020
会议链接：https://www.aminer.cn/conf/ijcai2020

Marthe: Scheduling the Learning Rate Via Online Hypergradients

作者从超参数优化的角度研究特定任务的learning rate schedule的拟合问题，目的是为了实现良好的泛化。作者描述了关于learning rate schedule地验证误差的梯度结构–超梯度的结构。在此基础上，作者介绍了MARTHE，这是一种由超梯度的廉价近似指导的新型在线算法，它利用优化轨迹中的过去信息来模拟未来行为。它在RTHO [Franceschi et al., 2017] 和HD [Baydin et al., 2018]这两种最新技术之间进行插值，能够产生更稳定的learning rate schedule，从而使模型的泛化效果更好。

论文链接：https://www.aminer.cn/pub/5ef96b048806af6ef2772148?conf=ijcai2020

会议链接：https://www.aminer.cn/conf/ijcai2020

NeurIPS 2020 论文推荐

Heavy-tailed Representations, Text Polarity Classification & Data Augmentation

在自然语言中，文本表示的主流方法依赖于对海量语料库的学习嵌入，这些嵌入具有便利的属性，如组成性和距离保护。

在本文中，作者开发了一种新颖的方法来学习重尾嵌入（heavy-tailed embedding），它具有理想的关于分布尾部的正则性属性，可以使用多变量极值理论框架来分析远离分布尾部的点。特别地，作者使用了一个专门针对所提出的嵌入的尾部的分类器，其性能优于基线。这种分类器表现出规模不变性的特性，作者通过引入一种新型的文本生成方法来进行标签保存数据集的增强，从而利用了该不变性。

在合成和真实文本数据上的数值实验证明了所提出的框架的相关性，并证实了该方法能够生成具有可控属性的有意义句子，例如积极或消极的情绪。

论文链接：https://www.aminer.cn/pub/5e7dcebb91e0115bf014c30b?conf=neurips2020
会议链接：https://www.aminer.cn/conf/neurips2020





A random matrix analysis of random Fourier features: beyond the Gaussian kernel, a precise phase transition, and the corresponding double descent

本文描述了随机傅里叶特征（RFF）回归的精确渐进性，在现实环境中，数据样本数n、其维度p以及特征空间的维度N都是大而可比的。在这种情况下，随机RFF Gram矩阵不再收敛到众所周知的极限高斯核矩阵(就像当N趋向于无穷大时那样)，但它仍然有一个可被分析所捕获的行为。该分析还提供了大n,p,N时训练和测试回归误差的精确估计。基于这些估计，提供了两个质量不同的学习阶段的精确特征，包括它们之间的相变；并从这种相变行为中得出了相应的双下降测试误差曲线。这些结果并不依赖于对数据分布的强假设，它们与有限维真实世界数据集上的经验结果完全匹配。

论文链接：https://www.aminer.cn/pub/5ee3525f91e011cb3bff709d?conf=neurips2020

会议链接：https://www.aminer.cn/conf/neurips2020

AAAI 2021 论文推荐

Overcoming catastrophic forgetting in neural networks

以顺序方式学习任务的能力对人工智能的发展至关重要。到目前为止，神经网络还不具备这种能力，人们普遍认为灾难性遗忘是连接主义模型不可避免的特征。作者表明，有可能克服这一局限性，并训练出能够在长期没有经历过的任务上保持专业知识的网络。

作者的方法通过选择性地放慢对这些任务重要的权重的学习来记忆旧任务。作者通过解决一组基于手写数字数据集的分类任务，并通过顺序学习几个Atari 2600游戏，证明了他们的方法可扩展且有效。

论文链接：https://www.aminer.cn/pub/5c873b4d4895d9cbc6f504ad?conf=aaai2021
会议链接：https://www.aminer.cn/conf/aaai2021





Curriculum Labeling: Self-paced Pseudo-Labeling for Semi-Supervised Learning

半监督学习的目的是利用大量的未标记数据来提高仅能访问少量标记示例的模型的准确性。

作者提出了课程标签（curriculum labeling），这是一种利用伪标签的方法，以迭代和自定进度的方式将标签传播到未标记的样本。这种方法出乎意料地简单有效，在图像分类的所有标准基准中，都超过或可与最近文献中提出的最佳方法相当。

值得注意的是，作者在CIFAR-10上仅使用4,000个标签样本就获得了94.91%的准确率，在Imagenet-ILSVRC上使用128,000个标签样本获得了88.56%的前5名准确率。与之前的工作相比，作者的方法即使在利用分布外的非标记数据样本的更现实的情况下也显示出改进。

论文链接：https://www.aminer.cn/pub/5e257a973a55acdfeeb9ecbc?conf=aaai2021

会议链接：https://www.aminer.cn/conf/aaai2021

订阅了解更多论文信息，定制您的个人科研动态信息流：https://www.aminer.cn/user/notification?f=mt