AMiner 会议论文推荐第十期

AMiner平台由清华大学计算机系研发，拥有我国完全自主知识产权。平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱，提供学者评价、专家发现、智能指派、学术地图等科技情报专业化服务。系统2006年上线，吸引了全球220个国家/地区1000多万独立IP访问，数据下载量230万次，年度访问量超过1100万，成为学术搜索和社会网络挖掘研究的重要数据和实验平台。

IJCAI 2020 论文推荐

Unsupervised Representation Learning by Predicting Random Distances

深度神经网络具有从高维数据中学习语义丰富的特征的出色能力，因此在各种机器学习任务中都取得了巨大的成功。但是，他们通常需要大规模的标记数据才能成功学习此类功能，这极大地阻碍了它们适应无监督学习任务（例如异常检测和聚类）的使用，并限制了他们应用到一些关键领域，在这些领域中获取大量标记数据的成本较昂贵。
为了在这些领域上实现下游无监督学习，作者建议通过训练神经网络来预测随机投影空间中的数据距离，从而在不使用任何标记数据的情况下学习特征。随机映射是一种经过理论验证的方法，可以获取近似保留的距离。为了很好地预测这些随机距离，对表征学习器进行了优化，以学习隐式嵌入随机投影空间中的真正类结构。
在19个真实数据集上的实验结果表明，作者在异常检测和聚类任务中所学的表征方法都大大优于最新的竞争方法。

论文链接：https://www.aminer.cn/pub/5e09caba3a55ac662f721bd7?conf=ijcai2020

NeurIPS 2020 论文推荐

Self-Distillation Amplifies Regularization in Hilbert Space

深度学习环境中引入的知识提炼是一种将知识从一种架构转移到另一种架构的方法。特别是，当架构相同时，这称为self-distillation。这个想法是将训练后的模型的预测值作为新的目标值进行再训练（并可能将此循环迭代几次）。从经验上已经观察到，self-distillation模型通常在保留的数据上实现更高的准确性。但是，为什么会发生这种情况一直是个谜：self-distillation动态过程不会收到关于任务的任何新信息，而只会通过循环训练来发展。目前对这种情况发生的原因还没有严格的理解。
作者这项工作提供了self-distillatio的第一个理论分析。作者专注于将非线性函数拟合到训练数据，其中模型空间是希尔伯特空间，并且拟合在该函数空间中受L2正则化的影响。作者表明，self-distillatio迭代通过逐渐限制可用于表示解的基函数的数量来修改正则化。这意味着（正如通过经验验证的那样），尽管几轮self-distillatio可以减少过度拟合，但进一步的循环可能会导致拟合不足，从而导致性能下降。

论文链接：https://www.aminer.cn/pub/5e4672c93a55ac14f595d8bb?conf=neurips2020

EMNLP 2020 论文推荐

Bootstrapped Q-learning with Context Relevant Observation Pruning to Generalize in Text-based Games

作者表明，用于解决基于文本的游戏（TBG）的强化学习（RL）方法通常无法在未见游戏上进行泛化，尤其是在小数据体制下。
为了解决此问题，作者提出了上下文相关的表象状态截断（CREST），用于在观察文本中删除不相关的标记，以提高通用性。该方法首先使用Q学习来训练基本模型，这通常过度拟合训练的游戏。基本模型的动作标记分布用于执行观察修剪，以删除不相关的标记。然后在修剪后的观察文本上训练第二个自举模型。
作者的自举代理在解决看不见的TextWorld游戏方面显示出更强的泛化能力，尽管所需的训练次数更少，但与之前的最新方法相比，使用的训练游戏要少10到20倍。

论文链接：https://www.aminer.cn/pub/5f71a7c191e011e26794cb93?conf=emnlp2020

想要查看更多精彩会议论文合集，请移步AMiner顶会