AMiner会议论文推荐第七十四期

AMiner平台由清华大学计算机系研发，拥有我国完全自主知识产权。平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱，提供学者评价、专家发现、智能指派、学术地图等科技情报专业化服务。系统2006年上线，吸引了全球220个国家/地区1000多万独立IP访问，数据下载量230万次，年度访问量超过1100万，成为学术搜索和社会网络挖掘研究的重要数据和实验平台。

ICLR 2021 论文推荐

清华大学AMiner团队开发的ICLR 2021会议系统，对ICLR 2021论文、作者、华人学者、一作华人学生、视频以及统计信息等提供了多维分析服务。通过论文看作者、通过作者找论文，并融合论文解读、相关论文推荐、对作者信息的大数据分析，可以帮助用户掌握当前深度学习的最前沿研究，洞察相关技术的发展趋势。

Noise or Signal: The Role of Image Backgrounds in Object Recognition（噪声或信号：图像背景在物体识别中的作用）

论文链接：https://www.aminer.cn/pub/5eede0b091e0116a23aafbf2/?conf=iclr2021

推荐理由： 作者评估了最先进的物体识别模型对图像背景信号的依赖倾向。该工作创建了一个工具包，用于在ImageNet图像上分离前景和背景信号，并发现了以下现象：（a）模型可以通过单独依赖背景达到非显著的准确性；（b）即使存在正确分类的前景，模型也经常对图像进行错误分类—且在对抗性选择的背景下，高达88%的时间；（c）更准确的模型倾向于较少依赖背景。作者对背景的分析使他们更了解机器学习模型使用的关联种类，以及它们如何决定模型的分布性能。

Training with Quantization Noise for Extreme Model Compression（用量化噪声进行极端模型压缩的训练）

论文链接：https://www.aminer.cn/pub/6008311d9e795ed227f53096/?conf=iclr2021

推荐理由： 作者解决了产生紧凑模型的问题，在给定的模型规模下，最大限度地提高其准确性。其中，一个标准的解决方案是利用量化感知来训练网络，权重在训练期间被量化，梯度用直通式估计器来逼近。在本文中，作者将这一方法扩展到与极端压缩方法一起工作，提出在每次前进过程中只对不同的随机权重子集进行量化，允许无偏梯度流经其他权重。因为控制噪声的数量和形式可以实现极端的压缩率，同时保持原始模型的性能，作者在自然语言处理和图像分类中的准确性和模型大小之间建立了妥协。例如，将方法应用于最先进的Transformer和ConvNet架构并将RoBERTa压缩到14MB，模型可以在MNLI上达到82.5%的准确率；将EfficientNet-B3压缩到3.3MB，在ImageNet上达到80.0%的最高准确率。

Better Fine-Tuning by Reducing Representational Collapse（通过减少表象塌陷实现更好的微调）

论文链接：https://www.aminer.cn/pub/5f3117e791e0113382b53799/?conf=iclr2021

推荐理由： 尽管被广泛采用，但现有的微调预训练语言模型的方法已被证明在不同的超参数设置下是不稳定的，这促使了近期有关信任区域方法的工作。在本文中，作者提出了一种植根于信任区域理论的方法，利用参数噪声（从正态分布或均匀分布中取样）取代了以前使用的对抗目标，从而在不损害性能的情况下尽可能地阻止了微调期间的表示变化。该工作还引入了一种新的分析方法，通过研究表征崩溃来激励更普遍地使用信任区域方法；在为特定的最终任务进行微调时，来自预训练模型的可概括表征的退化。广泛的实验表明，作者的微调方法在一系列理解和生成任务（包括DailyMail/CNN、Gigaword、Reddit TIFU和GLUE基准）上的表现持平或超过了之前的信任区域方法，同时速度也快得多。

AMiner，AI赋能的学术搜索平台：https://www.aminer.cn/

#AMiner# #论文#