他们战胜了韩国的李师师

大数据是时代的悲哀

——众所周知，深度学习需要大量的样本。数据增广和正则化，可以稍微降低由于数据不足带来的过拟合，但却无法真正解决这个问题。另外，对参数化模型的学习速度很慢，而非参数化模型——如最近邻法NN——却可以快速学习新样本。

人类对新知识的学习只需很少的监督，例如：一个儿童仅从一本书中的一副画就可以学习到“斑马”的概念，而我们最好的深度学习系统却需要几百上千个样本。这个差距，就是驱使我们进行单样本学习的原因。

2017年google deepmind——就是那个用电脑击败围棋国手李师师的那个公司——的研究人员在arXiv上发布了Matching Networks for One Shot Learning一文，研究了视觉和语言上的单样本学习问题，提出了的一种网络模型叫做匹配网络，将ImageNet的单样本识别精度从87.6%提高到了93.2%，对Omniglot从88.0%提高到93.8%。匹配网络的思路是：基于深度神经特征的度量学习+外部存储增强的神经网络。它学习如何将一个小标签数据集和一个无标签样本映射到其标签，而不用对新的类别进行微调。

这篇论文提出了一种与通常的监督学习不同的学习方法：一般有监督学习的训练集与测试集虽然互不重合，但它们的标签是重合的；而匹配网络的训练集与测试集的标签是不重合的，即测试集所用的标签从未在训练时出现过。换句话说，匹配网络学习的是学习方法，而不是学习内容。这就像一个高明的老师，他教给学生的不再是死记硬背已有的概念和公式，而是教给学生学习方法。

就像高考刷题，同样是题海战术，有些学生只会死记硬背固定的题型，而那些被称为学霸的学生却能学会举一反三。

本文的创新点：1）提出匹配网络MN模型，采用最近在注意力和记忆方面的成果，达到快速学习的目的。2）训练过程基于简单的机器学习原理：测试和训练条件必须匹配。为了达到快速学习的目的，每个类只用很少的样本去训练它，每个minibatch对应一个类，就好像在测试时每个类只有很少的几个样本一样。