把AI生成的数据喂给AI

AI生成的图像太逼真，为什么不能拿来训练AI呢？

可别说，现在还真有人这么做了。

来自香港大学、牛津大学和字节跳动的几名研究人员，决定尝试一下能否使用高质量AI合成图片，来提升图像分类模型的性能。

为了避免AI合成的图像过于单一、或是质量不稳定，他们还提出了几类提升数据多样性和可靠性的方法，帮助AI合成更好的数据集（来喂给AI的同类doge）。

结果他们发现，不仅效果不错，有的AI在训练后，效果竟然比用真实数据训练还要好！

作者们分别从零样本（zero-shot）、少样本（few-shot）图像分类、模型预训练（pre-training）与迁移学习三个⽅⾯进⾏了探讨，并给出了提升数据多样性与可靠性的方法。

零样本图像分类

零样本（Zero-shot）图像分类任务，指没有任何⽬标类别的训练图⽚，只有对⽬标类别的描述。

作者们先是提出了一种名为语言增强（Language Enhancement，LE）的⽅法，用于增强合成数据多样性。

具体来说，这种方法会给标签“扩句”，如果原标签是简单的“飞机”，那么经过“扩句”后的提示词就会变成“一架盘旋在海滩和城市上空的白色飞机”。

随后，还采用了一种叫做CLIP过滤器（CLIP Filter）的⽅法确保合成数据的可靠性，即过滤掉合成质量不行的图片，确保AI数据质量过硬。

在17个数据集上，相⽐此前效果最好的CLIP模型，相关⼤⼩模型均获得了显著提升（4.31%/2.90%），展示了合成