什么是in-the-wild image（野生图像）?怎么更好的利用这些图像（通过BLIP）

in-the-wild image中文说法叫做野生图像

没有在训练集中出现的，随便的一个图像，而不是像imageNet这种有标签的图像，比如网上随便找的一张图像都可以称为in-the-wild image

怎么利用这些in-the-wild image？

有一种做法是将这些image输入进off-the-shelf captioning tool（例如BLIP）然后进行过滤，从而得到这个图像的文本标题，从而更进一步提升模型的性能。例如：

• When StyleGAN Meets Stable Diffusion: a W+ Adapter for Personalized Image Generation
• 【ICML 2022】BLIP + Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation
• Taming Encoder for Zero Fine-tuning Image Customization with Text-to-Image Diffusion Models
• Not Only Generative Art: Stable Diffusion for Content-Style Disentanglement in Art Analysis【完全使用合成图像和用模型预测合成图像的标题来训练模型】

• StyleGAN2 Distillation for Feed-Forward Image Manipulation

BLIP的思想：

大规模图文数据从网上爬下来的，非常Noisy BLIP论文指出，使用Noisy的数据集去预训练效果不佳，不是最优解，BLIP论文提出Captioner和Filter 模块： Captioner：给定任意一张图片，模型可以生成一些描述，从而得到大量的合成成对数据。 Filter：把图像和文本不匹配的对从数据集里删掉。