ECCV 2024 | 以生成图像为训练集！扩散模型diffusion方向汇总

最新推荐文章于 2024-11-17 07:45:00 发布

机器学习与AI生成创作

最新推荐文章于 2024-11-17 07:45:00 发布

阅读量374

点赞数

文章标签：人工智能计算机视觉机器学习

原文链接：https://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247502427&idx=2&sn=2625246f95a77a1681ed2b8dce9b8f9b&chksm=ff89c711df6efd81587cf9b3f0014f5df4264f3647b529b8b97ac01b84ebeb9716b3c9dc9f5b&scene=126&sessionid=0

版权

1、DataDream: Few-shot Guided Dataset Generation

文生图扩散模型在图像合成中取得最先进结果，但尚未证明在下游应用的有效性。先前工作提出通过提供有限的真实数据访问来生成图像分类器训练数据。这些方法难以生成符合分布的图像或描绘细粒度特征，阻碍在合成数据集上训练的分类模型泛化。

提出DataDream框架，在少量目标类别的少量真实示例引导下合成更忠实代表实际数据分布的分类数据集。在用适应后的模型生成训练数据之前，DataDream在少量真实图像上微调图像生成模型的LoRA权重。然后，通过用合成数据对CLIP的LoRA权重进行微调，以改善在各种数据集上相比先前方法的下游图像分类性能。

实验证明DataDream有效性，在10个数据集中的7个数据集上，用少量数据取得最先进的分类准确性，并在其他3个数据集上具有竞争力。此外，还提供有关各种因素的影响的见解，例如实际拍摄和生成图像的数量以及对模型性能的微调计算的影响。https://github.com/ExplainableML/DataDream

2、ProCreate, Don’t Reproduce! Propulsive Energy Diffusion for Creative Generation

提出ProCreate，一种简单易实现的方法，用于改善扩散式图像生成模型的样本多样性和创造力，并防止训练数据的复制式生成。ProCreate在一组参考图像上操作，并在生成过程中积极推动生成的图像嵌入远离参考嵌入。提出FSCG-8（Few-Shot Creative Generation 8），一个少样本创意生成数据集，涵盖了八个不同类别，包括不同概念、风格和设置，其中ProCreate实现了最高的样本多样性和保真度。此外，展示了ProCreate在使用训练文本提示进行大规模评估时有效地防止复制训练数据。https://procreate-diffusion.github.io/

3、Self-Guided Generation of Minority Samples Using Diffusion Models

提出一种用于生成那些在数据流形低密度区域的少样本的新方法。框架建立在扩散模型上，采样器的关键特征在于其self-contained性质，即仅用预训练模型即可实现。这使得采样器与需要昂贵的额外组件（如外部分类器）的现有技术有所区别。

在基准真实数据集上的实验表明，方法可以显著提高创造出现实中低可能性少数实例的能力，而无需依赖昂贵的额外元素。https://github.com/soobin-um/sg-minority

4、TP2O: Creative Text Pair-to-Object Generation using Balance Swap-Sampling

从两个看似不相关的对象文本中生成创造性的组合对象，是文本生成图像中的一项具有挑战性的任务，往往受到对模拟现有数据分布的关注的阻碍。本文开发了一种简单高效的方法，称为平衡交换采样。

首先，提出一个交换机制，通过扩散模型随机交换两个文本嵌入的内在元素，生成一个新的组合对象图像集。其次，引入一个平衡交换区域，通过平衡新生成的图像集中的CLIP距离来高效地从中取样一个小子集，增加接受高质量组合的可能性。最后，采用分割方法来比较分割组件之间的CLIP距离，最终选择来自取样子集中最有前途的对象。

实验表明，方法胜过最近的SOTA T2I方法。结果甚至可以与青蛙-西兰花等人类艺术家的作品匹敌。https://njustzandyz.github.io/tp2o/