[Tools: LoRA] Diffusers中Stable Diffusion的实现

实现底层原理

• Diffusers中的Attention操作实现在AttnProcessor类（diffusers.models.attention_processor.py），里面定义了单次Attention操作。
• 添加LoRA，本质上是用LoRAAttnProcessor类替换AttnProcessor类。
• LoRAAttnProcessor中新增了四个线性层，分别是to_q_lora、to_k_lora、to_v_lora、to_out_lora，并在执行AttnProcessor前分配给attn，然后再嵌套执行AttnProcessor：

• 修改的attn是Attention类，其中的to_q、to_k、to_v和to_out是LoRACompatibleLinear（diffusers.models.lora.py），在增加lora_layer后，计算如下。其中，scale是用来控制LoRA强度，如果为0则不添加LoRA。

具体实现

• 参考：threestudio中的LoRA实现