近期必读的6篇 NeurIPS 2019 的零样本学习(Zero-Shot Learning)论文
PS:转发自“专知”公众号
【导读】NeurIPS 是全球最受瞩目的AI、机器学习顶级学术会议之一,每年全球的人工智能爱好者和科学家都会在这里聚集,发布最新研究。NIPS 2019大会已经在12月8日-14日在加拿大温哥华举行。这次专知小编发现零样本学习(Zero-Shot Learning, ZSL)在今年的NeurIPS出现了好多篇,也突出其近期的火热程度, 为此,专知小编整理了NIPS 2019零样本学习(Zero-Shot Learning)相关的论文供大家学习收藏—零样本知识迁移、Transductive ZSL、多注意力定位、ZSL语义分割、对偶对抗语义一致网络。
1. Zero-shot Knowledge Transfer via Adversarial Belief Matching
作者:Paul Micaelli and Amos Storkey
摘要:在现代深度学习应用中,将知识从一个大的teacher network迁移到一个小的student network中是一个很受欢迎的任务。然而,由于数据集的规模越来越大,隐私法规也越来越严格,越来越多的人无法访问用于训练teacher network的数据。我们提出一种新方法,训练student network在不使用任何数据或元数据的情况下,与teacher network的预测相匹配。我们通过训练一个对抗生成器来搜索student与teacher匹配不佳的图片,然后使用它们来训练student,从而达到这个目的。我们得到的student在SVHN这样的简单数据集上与teacher非常接近,而在CIFAR10上,尽管没有使用数据,我们在few-shot distillation (100 images per class)的技术水平上进行了改进。最后,我们还提出了一种度量标准,来量化teacher与student在决策边界附近的信念匹配程度,并观察到我们的zero-shot student与teacher之间的匹配程度显著高于用真实数据提取的student与teacher之间的匹配程度。我们的代码链接如下: