Datawhale AI夏令营第四期魔搭-AIGC文生图方向Task1笔记

背景

        从文生图实现方案逐渐进阶，主要偏重图像工作流、微调、图像优化等思路，最后会简单介绍AIGC应用方向、数字人技术等，本次任务需要在可图Kolors模型的基础上训练LoRA模型，生成各种风格，同时基于LoRA模型生成8张图片组成连贯故事。

一、文生图

 1.文生图的基本概念      

     文生图（Text-to-Image Generation）是一种通过文本生成图像的技术，其发展历程可以追溯到早期的计算机视觉和自然语言处理研究。主要以SD系列基础模型为主，以及在其基础上微调的lora模型和人物基础模型等。

2.文生图的基本知识

接下来我们简单介绍一下提示词，L哦让，ComfyUI以及参考图控制

（1）提示词

     顾名思义，提示词就是对这幅图片的描述，一般包括主体描述，细节描述，修饰词，艺术风格，艺术家等，如下例：

【promts】Beautiful and cute girl, smiling, 16 years old, denim jacket, gradient background, soft colors, soft lighting, cinematic edge lighting, light and dark contrast, anime, super detail, 8k

【负向prompts】(lowres, low quality, worst quality:1.2), (text:1.2), deformed, black and white,disfigured, low contrast, cropped, missing fingers

（2）Lora

        是一种轻量级的微调方法，它代表了“Low-Rank Adaptation”，即低秩适应。Lora不是指单一的具体模型，而是指一类通过特定微调技术应用于基础模型的扩展应用。在Stable Diffusion这一文本到图像合成模型的框架下，Lora被用来对预训练好的大模型进行针对性优化，以实现对特定主题、风格或任务的精细化控制。

（3）ComfyUI

    ComfyUI 是一个工作流工具，主要用于简化和优化 AI 模型的配置和训练过程。通过直观的界面和集成的功能，用户可以轻松地进行模型微调、数据预处理、图像生成等任务，从而提高工作效率和生成效果。

（4）参考图控制

     ControlNet是一种用于精确控制图像生成过程的技术组件。它是一个附加到预训练的扩散模型（如Stable Diffusion模型）上的可训练神经网络模块。扩散模型通常用于从随机噪声逐渐生成图像的过程，而ControlNet的作用在于引入额外的控制信号，使得用户能够更具体地指导图像生成的各个方面（如姿势关键点、分割图、深度图、颜色等）。常用的控制包括：OpenPose姿势控制，Canny精准绘制，Hed绘制，颜色控制，深度图Midas等。

二、跑通Baseline

1.开通阿里云PAI-DSW试用

在此链接：https://free.aliyun.com/?productCode=learn开通免费试用，然后在魔塔社区https://www.modelscope.cn/my/mynotebook/authorization进行授权。

2.在魔塔社区创建实例

3.运行baseline

(1)下载baseline文件，具体步骤如下：

(2)进入文件夹，打开baseline文件

(3)安装Data-juicer和DiffSynth-Studio环境，然后重启kernel.

Data-Juicer：数据处理和转换工具，旨在简化数据的提取、转换和加载过程

DiffSynth-Studio：高效微调训练大模型工具

（4）调整提示词参数，生成你想要的图片风格，可以不修改默认代码中的风格。

（5）依次运行剩余的代码块，会生成所有图片，时间有点长。

三、感悟

第一次接触这个知识，教程很详细，完全按照教程无脑进行运行的，就是最后运行结果很长时间，代码不太理解，需要在下次直播课中认真听讲。还需要私下里多查阅相关知识。