drive数据集_自监督学习，如何从数据困境中拯救深度学习？

作者 | Thalles Silva编译 | 翻译官balala

编辑 | 丛末

大规模标注的数据集的出现是深度学习在计算机视觉领域取得巨大成功的关键因素之一。然而监督式学习过于依赖大规模标注数据集，数据集的收集和人工标注需耗费大量的人力成本。自监督模型解决了这一难题，它能够从大规模未标记数据中学习图像特征，而无需使用任何人工标注数据。

每个深度学习实践者都认同的一件事是：深度学习模型是数据低效的。

1、数据低效的深度学习模型

让我们首先考虑计算机视觉中的主流分类任务。以 ImageNet 数据库为例，它包含 1000 个不同类别的130 万张图像，其中的每一个图像都有人工标注的标签。

ImageNet 无疑是现在深度学习复兴的基石之一，这源于 2012 年 Krizhevsky 等人所著的论文《Imagenet Classification with Deep Convolutional Neural Networks》。

在这篇文章中， 卷积网络模型首次大幅度超越了当时最先进的模型。它是在所有的对比模型中唯一一个基于卷积神经网络的解决方案。此后，卷积神经网络变得无处不在。

在深度学习之前，研究人员一直认为 ImageNet 挑战非常困难，其主要原因是 ImageNet 数据集突出的变化性。即便只是找到能覆盖 ImageNet 中各种犬类的手工特征就已经很不容易。

然而，通过深度学习，我们很快意识到，大量的数据导致了 ImageNet 如此困难，同时实际上也是使深度学习如此有效的秘诀。

虽然如此，通过多年的深度学习研究，我们知道了大型数据库用于训练精确模型的必要性已成为一个非常重要的问题。并且需要低效的人工标注数据成为一个更大的问题。

而且在当前的深度学习应用中，数据的问题无处不在。以 DeepMind 的 AlphaStar 模型为例。