深度学习的数据集原来也可以自动生成！！！

之前看了篇深度学习模型测试帖子说，深度学习对于污损比较严重的图片，识别效果或明显下降，如下图所示。

   另外一组实验的结果却让人很震惊。该实验拿风格化的图像来扩展训练集。

      实验室用Faster-CNN的框架进行，结果表明虽然在污损鲁棒性实验中没能达到原始图像的指标，但风格化后图像加入训练集的检测结果却大大提高了！

 这说明了深度学习的学习模式可能跟我们想象的并不一样，像风格化这样的处理方式虽破坏了原有的色彩梯度，但却能提高检测效果，确实要给我们足够的启发。如果风格化的数量可以增加模型认知能力，那么我们是否可以利用图像贴纸生成数据集呢？

   就在最近，19年7月23日，看到了一篇Arxiv文章，给大家看个文章图和文章摘要，大家就明白了。

           

   摘要：深度学习已经成功应用于与自动驾驶相关的几个问题。通常，这些解决方案依赖于需要数据库来解决问题的真实图像样本（即现实世界）以进行适当训练的大型网络。在自动驾驶环境中并不总是可以获得这样的真实世界数据集，并且有时它们的注释是不可行的（例如，花费太长时间或太昂贵）。此外，在许多任务中，存在大多数基于学习的方法难以应对的内在数据不平衡。事实证明，交通标志检测是一个完全可以看到这三个问题的问题。在这项工作中，我们提出了一种新颖的数据库生成方法，该方法仅需要（i）任意自然图像，即不需要来自感兴趣领域的真实图像，（ii）交通标志的模板，即合成创建的模板，以说明交通标志类别的外观。毫不费力地生成的训练数据库被证明对于德国交通标志上的深度探测器（例如更快的R-CNN）的训练是有效的，平均达到mAP的95.66％。此外，所提出的方法能够检测交通标志，其平均精度，召回率和F1分数分别为约94％，91％和93％。实验令人惊讶地表明，探测器可以用简单的数据生成方法进行训练，并且没有问题的背景域数据，这与深度学习的常识相反。 

    这篇文章不长，但想法确是有很大触动性的。也许对于深度学习所需的大量数据集，可以完全自动生成，我们所要做的就是把类的模板贴在不同背景的图片上。 但我觉的这项研究的意义并非仅此而已。

早先我看到过一篇关于深度学习的报导，谈到了关于组合爆炸的问题，什么是组合爆炸呢？真实世界图像集是组合的。因此，任何数据集（无论多大）都很难代表现实世界的复杂性。

      想象一下，我们可以在一个场景中随意添加各种物体，这显然可以用很多方式完成。即使对于单个对象的图像，我们也可以获得类似的复杂度，因为它可以以指数增加的方式添加被部分遮挡的情况。我们还可以通过无数种方式更改对象的背景。在某些视觉任务中，这种组合爆炸基本不会发生。深度神经网络在医学图像的应用中可谓是非常成功，因为其背景的变化相对较小（例如胰腺总是非常接近十二指肠）。

      但是，对于许多日常使用的应用程序来说，如果没有指数级别的数据集，我们就无法捕捉到现实世界的复杂性。这就带来了巨大的挑战——在数量有限、随机抽取的样本上训练和测试模型的标准范式变得不切实际。即训练的模型很难完全考虑到现实情况。我们看下下面这个例子。

 

 

     添加遮挡体(Occluders)会导致深层网络失败。左：添加遮挡体摩托车将猴子变成了人类。中心：添加遮挡体自行车将猴子变成人，丛林将自行车把手变成鸟。右：添加遮挡体吉他将猴子变成了人类，丛林将吉他变成了一只鸟。

    这张图显示了将吉他照片添加到丛林中的猴子照片中的效果。Deep Net错误地将猴子识别为人类并将吉他误解为鸟类，大概是因为Deep Net认为猴子不可能携带吉他，并且鸟类比吉他更可能在猴子附近的丛林中出现。

     这种对背景的过度敏感可以归因于有限的数据集大小。对于任何对象，数据集中仅出现有限数量的背景，因此神经网络就会发生判断偏差。  捕捉各种各样背景的困难，以及探索大范围的滋扰因素的需要，造成了Deep Nets这类方法的缺陷。

    如果我们可以通过将模板贴在任意背景图像的方式生成数据集，是不是就意味着我们可以将目标从原有背景中解耦出来，从而解决组合爆炸的问题。 

   深度学习真是令人又爱又恨，如果数据集可以自动生成，然后训练得到识别效果更好的模型。那么，是不是也可以不用讲模板贴到任意背景，而是指讲模板类图像给模型，模型只学习模板类图像的特征或自动为模板类添加巨量的背景，这样是不是就可以解决深度学习对数据过度依赖的问题呢？这种模式更加接近人的认知方式，如果这个想法成立，那么，对于深度学习的影响就是非常深远的了。

 

转载请引用本贴，谢谢！