使用stable diffusion进行数据扩充

目的

做reid任务会遇到些难样本，希望对这些难样本进行数据扩充，加入网络，提高模型对这几个类别的识别效果。

方法

光用prompt生成的图像与真实样本差距过大，因此希望采用图像+文字引导生成图像。（也试过GAN，无法满足特定视角图像效果）因此。尝试大名鼎鼎的Stable Diffusion的图生图模式。目前搜索了一下还没有相关的blog，在此把遇到的问题和调试步骤都记录一下，以便有需要的同好查看。
code

调试步骤

1. 环境安装
   官网给的是conda environment，但我这边没有安装conda，只在调试过程中基于基础镜像安装了必要的库，这样就可以正常运行。

cd /your_project/stable-diffusion
pip install transformers==4.19.2 diffusers invisible-watermark
pip install -e .

如果遇到no module named taming的问题，可根据这个回答的方法二解决。
no module named taming

2. 下载权重：根据项目的weights下载需要的权重；
3. 准备数据：这里要根据下载的权重对应的分辨率处理下要扩充的数据，比如我下载的是sd-v1-2.ckpt，就要将图像都处理成512×512的。
4. 脚本生成命令：

python scripts/img2img.py --prompt "A fantasy landscape, trending on artstation" --init-img <path-to-img.jpg> --strength 0.8

这里的prompt确实对生成图像的影响较大，建议采用比较简单的prompt，太细节了生成图像反而比较假。这里的strength指的是加入到输入图像中的噪声量，可以根据官网下的示例选择这个strength。

总结

stable diffusion确实好强大，细节生成的不错，但是还是没办法控制生成的图像背景和其他信息，因此还需要手动删除些不符合所需数据分布的图片。