Datawhale X 魔搭 AI夏令营 第四期AIGC_task01笔记

文生图基础了解

• ComfyUI

  ComfyUI 是一个工作流工具，主要用于简化和优化 AI 模型的配置和训练过程。通过直观的界面和集成的功能，用户可以轻松地进行模型微调、数据预处理、图像生成等任务，从而提高工作效率和生成效果。

• 参考图控制

  ControlNet是一种用于精确控制图像生成过程的技术组件。它是一个附加到预训练的扩散模型（如Stable Diffusion模型）上的可训练神经网络模块。扩散模型通常用于从随机噪声逐渐生成图像的过程，而ControlNet的作用在于引入额外的控制信号，使得用户能够更具体地指导图像生成的各个方面（如姿势关键点、分割图、深度图、颜色等）。

• Lora

  Stable Diffusion中的Lora（LoRA）模型是一种轻量级的微调方法，它代表了“Low-Rank Adaptation”，即低秩适应。Lora不是指单一的具体模型，而是指一类通过特定微调技术应用于基础模型的扩展应用。在Stable Diffusion这一文本到图像合成模型的框架下，Lora被用来对预训练好的大模型进行针对性优化，以实现对特定主题、风格或任务的精细化控制。

• 提示词

        提示词决定了图片生成方向

关于参赛方面

赛事任务	参赛者需在可图Kolors 模型的基础上训练LoRA 模型，生成无限风格，如水墨画风格、水彩风格、赛博朋克风格、日漫风格...... 基于LoRA模型生成 8 张图片组成连贯故事，故事内容可自定义；基于8图故事，评估LoRA风格的美感度及连贯性
评分规则介绍	1、主观评分 由评委对参赛作品进行投票，评审标准可以从技术运用（40%）、组图风格连贯性（30%）、整体视觉效果（30%）几方面进行评判投票。	2、客观评分 美学分数仅作评价提交是否有效的标准，其中美学分数小于6（阈值可能根据比赛的实际情况调整，解释权归主办方所有）的提交被视为无效提交，无法参与主观评分。
	此外，我们会核实选手上传的模型文件，赛选手需提交训练的LoRA 模型文件、LORA 模型的介绍、以及使用该模型生成的至少8张图片和对应 prompt，以便我们能够复现生成效果，对于生成效果明显无法复现的，取消获奖资格。

速通指南

        1.开通阿里云PAI-DSW试用

    啥

 2.在魔搭社区进行授权

​​​​​​​

        

3.创建实例 

点下一步，接着创建实例

 4.运行baseline

• 下载baseline文件

        打开终端（terminal）运行以下代码

git lfs install
git clone https://www.modelscope.cn/datasets/maochase/kolors.git

• 进入kolors文件夹打开baseline.ipynb文件
• 安装环境，重启kernel

安装Data-Juicer和DiffSynth-Studio 

Data-Juicer：数据处理和转换工具，旨在简化数据的提取、转换和加载过程

DiffSynth-Studio：高效微调训练大模型工具

• 调整prompt

• 运行
•  
• 默认baseline效果（会有微小差异）