Datawhale AI夏令营第四期魔搭- AIGC文生图方向 task01笔记

操作流程

搭建环境

1. 进入阿里云免费试用区，免费使用算力时：

阿里云社区
https://free.aliyun.com/?spm=5176.14066474.J_4683019720.1.8646754cugXKWo&scm=20140722.M_988563._.V_1&productCode=learn

2. 登录or注册自己的阿里云账号：

3. 点击立即试用

领取成功之后关闭页面即可

4 .进入魔搭社区授权

魔搭社区
https://www.modelscope.cn/my/mynotebook/authorization

报名赛事

可图Kolors-LoRA风格故事挑战赛
https://tianchi.aliyun.com/competition/entrance/532254

创建PAI实例

进入notebook之后，体验一站式 baseline！

进入终端Terminal，运行

git lfs install
git clone https://www.modelscope.cn/datasets/maochase/kolors.git

进入文件夹，打开baseline文件

安装环境，重启kernel

调整prompt后运行

小对号，即代表我们运行成功了这个代码块。

移动结果文件

下载结果文件

点击魔搭链接，创建模型

来到创空间，模型发布啦

关闭PAI实例

这是我运行完全部代码块后，最终的部分效果：

相关知识

LORA

LoRA（Low-Rank Adaptation）是一种用于微调Stable Diffusion模型的训练技术。

但我们已经有了其他的训练技术，例如 Dreambooth 和 文本反转。那么 LoRA 有何特别之处呢？LoRA 在文件大小和训练能力之间取得了良好的平衡。Dreambooth 功能强大，但模型文件体积较大（2-7 GB）。文本反转模型很小（约100 KB），但功能有限。

LoRA 位于二者之间：它们的文件大小适中（2-200 MB），而且训练能力还不错。

那些喜欢尝试各种 模型 的Stable Diffusion用户可以告诉你，他们的本地存储很快就会填满。由于文件体积较大，用个人电脑来维护一个模型集合非常困难。LoRA 是解决存储问题的绝佳方案。

与文本反转类似，你不能单独使用 LoRA 模型。它必须与模型检查点文件一起使用。LoRA 通过对附带的模型文件应用小的改动来修改风格。

提示词

提示词很重要，一般写法：主体描述，细节描述，修饰词，艺术风格，艺术家

举个例子

【promts】Beautiful and cute girl, smiling, 16 years old, denim jacket, gradient background, soft colors, soft lighting, cinematic edge lighting, light and dark contrast, anime, super detail, 8k

【负向prompts】(lowres, low quality, worst quality:1.2), (text:1.2), deformed, black and white,disfigured, low contrast, cropped, missing fingers

ComfyUI

ComfyUI到底有何魅力呢？

首先，ComfyUI具有直观易用的界面。

        通过节点的方式，用户可以清晰地看到各个模块的功能，并根据自己的需求进行调整和连接。这种方式使得工作流程更加明确，也降低了使用门槛，使得不熟悉代码的用户也能够轻松上手。

其次，ComfyUI的生成速度更快。

        相较于传统的Web UI，ComfyUI在生成图片时进行了优化，显著提高了生成速度。这意味着用户可以更快地获得所需的图片，节省了宝贵的时间和计算资源。

此外，ComfyUI对显存的要求更低。

        由于内部流程的优化，ComfyUI所需的显存比传统的Web UI更少。这意味着用户不需要高配置的硬件设备就能流畅地运行ComfyUI，降低了使用门槛。

        总之，ComfyUI工作流以其直观易用、快速生成和低显存要求等特点，为用户带来了前所未有的便利和高效体验。通过学习和掌握ComfyUI工作流，用户可以更好地利用Stable Diffusion模型进行各种创意和应用，实现更加丰富的视觉效果。