AMiner 会议论文推荐第三期

AMiner平台由清华大学计算机系研发，拥有我国完全自主知识产权。平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱，提供学者评价、专家发现、智能指派、学术地图等科技情报专业化服务。系统2006年上线，吸引了全球220个国家/地区1000多万独立IP访问，数据下载量230万次，年度访问量超过1100万，成为学术搜索和社会网络挖掘研究的重要数据和实验平台。

IJCAI 2020 论文推荐

Mixed-Variable Bayesian Optimization

评估费用高昂的黑盒混合变量函数（即具有连续和离散输入的函数）的优化是科学和工程学中一个困难但普遍的问题。在贝叶斯优化（BO）中，已经广泛研究了考虑完全连续或完全离散域的该问题的特殊情况。但是，很少有方法用于混合变量域。
在本文中，作者介绍了MiVaBo，这是一种用于有效优化混合变量函数的BO算法，该算法结合了基于表示特征表示的线性替代模型和Thompson采样。作者提出了两种方法来优化其获取函数，这是混合变量域的一个难题，并且证明MiVaBo可以处理域离散部分上其他方法无法考虑的复杂约束。
此外，作者提供了混合变量BO算法的首次收敛性分析。最后，实验证明在超参数调整任务上，MiVaBo的采样效率明显高于最新的混合变量BO算法。

论文链接：https://www.aminer.cn/pub/5d1c7ccb3a55ac8c230aa9b9?conf=ijcai2020

NeurIPS 2020 论文推荐

Exact expressions for double descent and implicit regularization via surrogate random design

双下降（Double descent）指的是当改变参数数量与训练样本数量之间的比率时，非正则化学习模型的泛化误差所表现出的相变。高度过参数化的机器学习模型（例如深度神经网络）的成功激发了对线性回归等经典模型中的双下降现象的理论分析，该模型也可以很好地推广到过参数化的情况。
作者基于随机数字线性代数（RandNLA）的最新进展，为最小范数线性估计的两次下降提供第一个精确的非渐近表达式。作者的方法涉及构建所谓的替代随机设计来代替标准i.i.d.训练样本的设计。这种替代设计在保留标准设计的关键特性的同时，可以为估算器的均方误差提供精确的表达式。作者还为过度参数化的训练样本建立了精确的隐式正则化结果。特别地，文中表明，对于代理设计，非正则最小范数估计量的隐含偏差恰好对应于求解总体分布上的岭正则最小二乘问题。

论文链接：https://www.aminer.cn/pub/5df0be543a55ac84bd7f496e?conf=neurips2020

EMNLP 2020 论文推荐

BERT-of-Theseus: Compressing BERT by Progressive Module Replacing

在本文中，作者提出了一种新颖的模型压缩方法，可以通过逐步替换模块来有效地压缩BERT。该方法首先将原始BERT分为几个模块，并构建它们的紧凑替代品。然后，通过随机替换原始模块，训练紧凑型模块模仿原始模块的行为。作者通过训练逐步增加替换的可能性。通过这种方式，在原始模型和紧凑模型之间带来了更深层次的交互，并简化了训练过程。
与以前的用于BERT压缩的知识蒸馏方法相比，文中所提方法仅利用了一个损失函数和一个超参数，从而将人的精力从超参数调整中解放了出来。作者的方法优于GLUE基准上现有的知识蒸馏方法，展示了模型压缩的新视角。

论文链接：https://www.aminer.cn/pub/5e4129b13a55ac9f8f89e1ca?conf=emnlp2020

想要查看更多精彩会议论文合集，请移步AMiner顶会