1. ComfyUI 应用场景探索,
1.1 把图像生成的过程进行步骤分解,便于用户按需定制图像生成过程。
1.2 https://www.bilibili.com/video/BV1ch4y1B7vp?share_source=copy_web
1.3 https://datawhaler.feishu.cn/wiki/QHSTwBPFKiZxqfkA1INc1u4fn0f#part-P5ufdxyIEo1U6ixULfGcQA8bnSf
1.4 核心模块:
模型加载器,
提示词管理器,
采样器,
解码器
1.5 图片生成流程:
a. 选择合适的文本到图像模型,如 Stable Diffusion.
b. 在界面上拖拽节点,选择参数构建工作流
c. 执行生成
d. 调整优化
2. LoRA微调
2.1 LoRA(Low-Rank Adaptation) 原理
LoRA通过在预训练模型的关键层中添加低秩矩阵来实现。低秩矩阵通常具有较低维度的参数空间,这样就可以进行模型微调从而不改变模型的整体结构和大部分模型权重。
2.1 优势:
快速适应新任务,保持泛化能力,减少计算资源