controlnet训练流程详解

整个大的训练流程和框架如下：accelerate库的使用，但这篇只侧重了大的框架流程，里面的controlnet训练细节太多了，在这里详细讲解，以背查询。

模型部分

tokenizer

from transformers import AutoTokenizer, PretrainedConfig
tokenizer = AutoTokenizer.from_pretrained(
	"runwayml/stable-diffusion-v1-5",
	subfolder="tokenizer",
	revision=None,
	use_fast=False
)

text_encoder

vae

unet

controlnet