这段代码定义了类 LoraLoader
,用于加载和应用 LoRA(Low-Rank Adaptation)模型到现有模型和 CLIP(Contrastive Language-Image Pretraining)模型上。LoRA 是一种用于高效微调模型的方法,通常用于在给定的任务上微调大型预训练模型。
类 LoraLoader
功能
加载和应用 LoRA 模型到给定的模型和 CLIP 模型上。
构造函数 __init__
初始化类实例,设置 loaded_lora
为 None
,用于缓存已加载的 LoRA 模型。
def __init__(self):
self.loaded_lora = None
类方法 INPUT_TYPES
定义输入参数的类型和默认值。
@classmethod
def INPUT_TYPES(s):
return {"required": { "model": ("MODEL",),
"clip": ("CLIP", ),
"lora_name": (folder_paths.get_filename_list("loras"), ),
"strength_model": ("FLOAT", {"default": 1.0, "min": -100.0, "max": 100.0, "step": 0.01}),
"strength_clip": ("FLOAT", {"default": 1.0, "min": -100.0, "max": 100.0, "step": 0.01}),
}}
model
:需要应用 LoRA 的模型实例。clip
:CLIP 模型实例。lora_name
:LoRA 模型的名称,从指定目录中获取。strength_model
:应用于模型的 LoRA 强度。strength_clip
:应用于 CLIP 的 LoRA 强度。
返回类型和函数定义
RETURN_TYPES
:返回类型为 "MODEL" 和 "CLIP"。FUNCTION
:指定方法为load_lora
。CATEGORY
:分类为 "loaders"。RETURN_TYPES = ("MODEL", "CLIP") FUNCTION = "load_lora" CATEGORY = "loaders"
方法 load_lora
加载和应用 LoRA 模型。
def load_lora(self, model, clip, lora_name, strength_model, strength_clip):
if strength_model == 0 and strength_clip == 0:
return (model, clip)
lora_path = folder_paths.get_full_path("loras", lora_name)
lora = None
if self.loaded_lora is not None:
if self.loaded_lora[0] == lora_path:
lora = self.loaded_lora[1]
else:
temp = self.loaded_lora
self.loaded_lora = None
del temp
if lora is None:
lora = comfy.utils.load_torch_file(lora_path, safe_load=True)
self.loaded_lora = (lora_path, lora)
model_lora, clip_lora = comfy.sd.load_lora_for_models(model, clip, lora, strength_model, strength_clip)
return (model_lora, clip_lora)
- 检查
strength_model
和strength_clip
是否为 0,如果是,则返回原始模型和 CLIP 实例。 - 获取 LoRA 模型的完整路径。
- 检查是否已经加载过 LoRA 模型,如果是且路径相同,则直接使用缓存的模型。
- 如果没有缓存,则加载 LoRA 模型,并缓存起来。
- 调用
comfy.sd.load_lora_for_models
方法,将 LoRA 模型应用到给定的模型和 CLIP 上,并返回应用后的模型和 CLIP。