Stable Diffusion使用ControlNet:IP-Adapter实现图片风格迁移

IP-Adapter 全称是 Text Compatible Image Prompt Adapter for Text-to-Image Diffusion Models（文本到图像扩散模型的文本兼容图像提示适配器），是腾讯研究院出品的一个新的ControlNet模型，旨在使预训练的文本到图像扩散模型能够生成具有图像提示的图像。

IP-Adapter是一种有效的轻量级适配器，用于实现预训练文本到图像扩散模型的图像提示能力。

IP-Adapter实现图片风格迁移示例

1、选择文生图

2、设置ControlNet unit 0的参数

添加一张图片作为参考风格。

• Control Type：选择IP-Adapter
• Preprocessor：选择ip-adapter_clip_sd15
• Model：选择ip-adapter_sd15_plus
• Control Weight：设置为1。

3、设置ControlNet unit 1的参数

这里选择Depth控制图片的结构，也可以使用lineart、canny、softedge等线条类模型。

• Control Type：选择Depth
• Preprocessor：选择depth_midas
• Model：选择control_v11f1p_sd15_depth
• Control Weight：设置为1。

4、文生图参数设置

• 采样方式：选择DPM++ 2M Karras
• 迭代步数：设置为20
• 高度和宽度与ControlNet unit 1上传的图片保持一致

效果展示

Depth​​​​​

Lineart

Canny

SoftEdge