Datawhale AI夏令营第四期 魔搭-AIGC方向 task03笔记

最新推荐文章于 2024-09-26 17:12:37 发布
最新推荐文章于 2024-09-26 17:12:37 发布
阅读量1.9k 收藏 39
点赞数 45
文章标签： AIGC 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43853937/article/details/141268109
版权

工具初探一ComfyUI应用场景探索

初识ComfyUI

ComfyUI是一种用于操作生成图像的GUI("Graphical User Interface")，可以以按钮菜单等交互方式生成图像。、

ComfyUI核心模块

核心模块有模型加载器、提示词管理器、采样器、解码器。

ComfyUI图片生成流程

step1：选择模型。如stable diffusion

step2：构建工作流。在操作界面上编辑流程，设计整个过程。

step3：执行。

step3：调整和优化。

ComfyUI的优势

模块化和灵活性：ComfyUI 提供了一个模块化的系统，用户可以通过拖放不同的模块来构建复杂的工作流程。这种灵活性允许用户根据自己的需求自由组合和调整模型、输入、输出、和其他处理步骤。

可视化界面：ComfyUI 提供了直观的图形界面，使得用户能够更清晰地理解和操作复杂的 AI 模型和数据流。这对没有编程背景的用户特别有帮助，使他们能够轻松构建和管理工作流程。

多模型支持：ComfyUI 支持多个不同的生成模型，用户可以在同一平台上集成和切换使用不同的模型，从而实现更广泛的应用场景。

调试和优化：通过其可视化界面，ComfyUI 使得调试生成过程变得更简单。用户可以轻松地追踪数据流，识别并解决问题，从而优化生成结果。

开放和可扩展：ComfyUI 是一个开源项目，具有高度的可扩展性。开发者可以根据需要编写新的模块或插件，扩展系统功能，并根据项目需求进行定制。

用户友好性：尽管其功能强大，但 ComfyUI 仍然保持了用户友好性，即使对于复杂任务，也能以相对简单的方式完成，使其成为生成式 AI 工作流程管理的有力工具。

20分钟速通安装ComfyUI

首先我们要打开魔搭社区。

下载脚本代码文件

打开notebook的终端，执行以下代码

git lfs install
git clone https://www.modelscope.cn/datasets/maochase/kolors_test_comfyui.git
mv kolors_test_comfyui/* ./
rm -rf kolors_test_comfyui/
mkdir -p /mnt/workspace/models/lightning_logs/version_0/checkpoints/
mv epoch=0-step=500.ckpt /mnt/workspace/models/lightning_logs/version_0/checkpoints/

安装ComfyUI

进入预览界面

不带Lora的工作流样例

浅尝ComfyUI工作流

Step1：下载工作流脚本

kolors_example.json

Step2：加载模型，并完成第一次生图

带Lora的工作流样例

工作流脚本（带Lora训练）

kolor_with_lora_example.json

执行操作

comfyUI资源网站

名称

链接地址

在魔搭使用ComfyUI，玩转AIGC！

https://modelscope.cn/headlines/article/429

ComfyUI的官方地址

https://github.com/comfyanonymous/ComfyUI

ComfyUI官方示范

https://comfyanonymous.github.io/ComfyUI_examples/

别人的基础工作流示范

https://github.com/cubiq/ComfyUI_Workflows

https://github.com/wyrde/wyrde-comfyui-workflows

工作流分享网站

https://comfyworkflows.com/

推荐一个比较好的comfyui的github仓库网站

https://github.com/ZHO-ZHO-ZHO/ComfyUI-Workflows-ZHO?tab=readme-ov-file

魔搭官方教程

2.2ComfyUI应用场景探索_哔哩哔哩_bilibili

Lora微调

LoRA (Low-Rank Adaptation) 微调是一种用于在预训练模型上进行高效微调的技术。它可以通过高效且灵活的方式实现模型的个性化调整，使其能够适应特定的任务或领域，同时保持良好的泛化能力和较低的资源消耗。这对于推动大规模预训练模型的实际应用至关重要。

微调原理

通俗易懂理解全量微调和LoRA微调_哔哩哔哩_bilibili

Lora微调的优势

1.快速适应新任务,通过对模型进行微调，可以快速适应新的任务。

2,保持泛化能力，微调模型，避免大范围调参导致模型遗忘，保持模型的泛化能力。

3.资源效率，微调对比全局调整，降低资源消耗。

Lora详解

import os
cmd = """
python DiffSynth-Studio/examples/train/kolors/train_kolors_lora.py \ # 选择使用可图的Lora训练脚本DiffSynth-Studio/examples/train/kolors/train_kolors_lora.py
  --pretrained_unet_path models/kolors/Kolors/unet/diffusion_pytorch_model.safetensors \ # 选择unet模型
  --pretrained_text_encoder_path models/kolors/Kolors/text_encoder \ # 选择text_encoder
  --pretrained_fp16_vae_path models/sdxl-vae-fp16-fix/diffusion_pytorch_model.safetensors \ # 选择vae模型
  --lora_rank 16 \ # lora_rank 16 表示在权衡模型表达能力和训练效率时，选择了使用 16 作为秩，适合在不显著降低模型性能的前提下，通过 LoRA 减少计算和内存的需求
  --lora_alpha 4.0 \ # 设置 LoRA 的 alpha 值，影响调整的强度
  --dataset_path data/lora_dataset_processed \ # 指定数据集路径，用于训练模型
  --output_path ./models \ # 指定输出路径，用于保存模型
  --max_epochs 1 \ # 设置最大训练轮数为 1
  --center_crop \ # 启用中心裁剪，这通常用于图像预处理
  --use_gradient_checkpointing \ # 启用梯度检查点技术，以节省内存
  --precision "16-mixed" # 指定训练时的精度为混合 16 位精度（half precision），这可以加速训练并减少显存使用
""".strip()
os.system(cmd) # 执行可图Lora训练

参数名称

参数值

说明

pretrained_unet_path

models/kolors/Kolors/unet/diffusion_pytorch_model.safetensors

指定预训练UNet模型的路径

pretrained_text_encoder_path

models/kolors/Kolors/text_encoder

指定预训练文本编码器的路径

pretrained_fp16_vae_path

models/sdxl-vae-fp16-fix/diffusion_pytorch_model.safetensors

指定预训练VAE模型的路径

lora_rank

16

设置LoRA的秩（rank），影响模型的复杂度和性能

lora_alpha

4

设置LoRA的alpha值，控制微调的强度

dataset_path

data/lora_dataset_processed

指定用于训练的数据集路径

output_path

./models

指定训练完成后保存模型的路径

max_epochs

1

设置最大训练轮数为1

center_crop

启用中心裁剪，用于图像预处理

use_gradient_checkpointing

启用梯度检查点，节省显存

precision

"16-mixed"

设置训练时的精度为混合16位精度（half precision）

UNet、VAE和文本编码器的协作关系

  • UNet：负责根据输入的噪声和文本条件生成图像。在Stable Diffusion模型中，UNet接收由VAE编码器产生的噪声和文本编码器转换的文本向量作为输入，并预测去噪后的噪声，从而生成与文本描述相符的图像

  • VAE：生成模型，用于将输入数据映射到潜在空间，并从中采样以生成新图像。在Stable Diffusion中，VAE编码器首先生成带有噪声的潜在表示，这些表示随后与文本条件一起输入到UNet中

  • 文本编码器：将文本输入转换为模型可以理解的向量表示。在Stable Diffusion模型中，文本编码器使用CLIP模型将文本提示转换为向量，这些向量与VAE生成的噪声一起输入到UNet中，指导图像的生成过程

如何准备一个高质量的数据集

明确需求和目标

在什么场景应用，需要什么类型的图片，需要多少图片等。

数据集来源

来源类型

推荐

公开的数据平台

魔搭社区内开放了近3000个数据集，涉及文本、图像、音频、视频和多模态等多种场景，左侧有标签栏帮助快速导览，大家可以看看有没有自己需要的数据集。

其他数据平台推荐：

  • ImageNet：包含数百万张图片，广泛用于分类任务，也可以用于生成任务。

  • Open Images：由Google维护，包含数千万张带有标签的图片。

  • Flickr：特别是Flickr30kK和Flickr8K数据集，常用于图像描述任务。

  • CelebA：专注于人脸图像的数据集。

  • LSUN (Large-scale Scene Understanding)：包含各种场景类别的大规模数据集。

使用API或爬虫获取

  1. 如果需要特定类型的内容，可以利用API从图库网站抓取图片，如Unsplash、Pexels等。

  2. 使用网络爬虫技术从互联网上抓取图片，但需要注意版权问题。

数据合成

利用现有的图形引擎（如Unity、Unreal Engine）或特定软件生成合成数据，这在训练某些类型的模型时非常有用。

最近Datawhale联合阿里云天池，做了一整套多模态大模型数据合成的学习，欢迎大家一起交流。从零入门多模态大模型数据合成

数据增强

对于较小的数据集，可以通过旋转、翻转、缩放、颜色变换等方式进行数据增强。

购买或定制

如果你的应用是特定领域的，比如医学影像、卫星图像等，建议从靠谱的渠道购买一些数据集。

qq_43853937
关注
Datawhale AI夏令营第四期魔搭- AIGC文生图方向 task01笔记
08-09
Datawhale AI夏令营第四期魔搭- AIGC文生图方向 task01笔记
DataWhaleX魔搭AI夏令营第四期AIGC方向task03笔记
sjm3041的博客
08-15 1065
在task03中，我们将要了解文生图的工作流平台工具ComfyUI，来实现一个更加高度定制的文生图。并且，我们要了解一下微调的基本原理及其各种参数，从而达到一个更好的效果。
我的Lora模型微调代码
2301_80297679的博客
08-16 213
就先这样交吧，不要给我0分，我很努力了 o(╥﹏╥)o。我把路径改成我自己的了，但剩下真的搞得头晕眼花。
Datawhale X 魔搭 AI夏令营
weixin_73664542的博客
08-17 293
这里的Lora是我们前面微调训练出来的文件，大家如有有其他的Lora文件，可以在下面截图Lora文件地址区域更换成自己的地址。链接：https://pan.baidu.com/s/18D-GPkujVn7-yBUdUpsCOg?链接：https://pan.baidu.com/s/1sre05wwO-bjJJAjeN6GKNA?
记一次：Datawhale AI夏令营-第四期-魔搭-AIGC-Task03 可图lora资源
08-15
记一次：Datawhale AI夏令营-第四期-魔搭-AIGC-Task03 可图测试资源
记一次：Datawhale AI夏令营-第四期-魔搭-AIGC-Task03 可图测试资源
08-15
记一次：Datawhale AI夏令营-第四期-魔搭-AIGC-Task03 可图测试资源
【Datawhale AI夏令营第四期】魔搭-AIGC方向 BaseLine注释版
08-11
【Datawhale AI夏令营第四期】魔搭-AIGC方向 BaseLine自己阅读加的注释，还有一些在个人电脑上运行BaseLine需要用到的文件存档。 一般读者只需关心注释版的BaseLine即可。
Datawhale 魔搭 AI夏令营 第四期 AIGC方向 -Tesk3-进阶上分-实战优化
08-17
训练结果
Windows安装启动:stable-diffusion-webui，AIGC大模型文生图、文生视频，Python
Zhang Phil
09-20 757
文件有些大， 约4G，下载后，是一个名为 v1-5-pruned-emaonly.ckpt 的文件，把v1-5-pruned-emaonly.ckpt放到目录 stable-diffusion-webui\models\Stable-diffusion 下面。webui-user.bat启动stable-diffusion-webui报错：RuntimeError: Torch is not able to use GPU，AIGC，Python-CSDN博客。2、启动 webui-user.bat。
普通程序员如何快速入门AIGC
江上清风山间明月的博客
09-22 1239
Flutter是一个由Google开发的开源UI工具包，它可以让您在不同平台上创建高质量、美观的应用程序，而无需编写大量平台特定的代码。从基础知识到高级技巧，从UI设计到性能优化，欢饮关注一起讨论学习，共同进入Flutter的精彩世界！要快速入门 AIGC（AI 生成内容，AI-Generated Content），你需要掌握人工智能、深度学习以及相关的生成技术。以下是一个详细的学习计划，帮助普通程序员逐步入门 AIGC。通过以上步骤，逐步提升 AI 生成内容领域的技能，掌握从理论到实践的全链路技术。
扩散模型（1）--AIGC与相关技术
m0_63860007的博客
09-24 312
包括人脸生成、人脸替换、人物属性编辑、人脸操控、姿态探控等 AIGC 技术，以及编辑图像、视频内容、图像生成、图像增强、图像修复等 AIGC 技术，如美颜换脸、捏脸、复刻及修改图像风格、AI绘画等。,包括文本转音频、语音转换、语音属性编辑等生成或者编辑语音内容的AIGC技术，以及音乐合成、场景声音编辑等生成或者编辑非语音内容的AIGC技术，如智能配音主播、虚拟歌手演唱、自动配乐、歌曲生成等。,主要包括文章生成、文本风格转换、问答对话等生成或者编辑文本内容的 AIGC 技术，如写稿机器人、聊天机器人等。
AIGC论文查重是什么？
chhchcch的博客
09-19 430
AIGC，即人工智能生成内容（Artificial Intelligence Generated Content），是指利用人工智能技术，如自然语言处理、机器学习等，自动生成文本、图像、音频等多种形式的内容。优点：输入题目一键生成完整论文并提供（知网、维普等定稿检测系统）论文查重报告，内容逻辑连贯性、语句通顺度、结构完整性均在95%以上，生成内容都是原创的且查重率低于10%且价格便宜实惠。首先，AIGC论文查重利用的是人工智能技术，可以更快速、更准确地检测论文的相似度。
AIGC生成风格统一图片的方法介绍
淘系技术
09-25 180
过去一段时间以来，AIGC图片生成技术快速发展，在电商以及内容创作领域展现出来极高的应用价值。除了基础的基于prompt的文生图能力，社区还涌现出来更多的扩展技术。比如Controlnet技术能利用线稿信息、深度信息等对生成图片的空间结构进行控制，还有IP-Adapter技术能够基于参考图片的内容对生成图片进行风格迁移。这些技术都便利了用户对AIGC的使用。本文将介绍如何利用AIGC生成多张风格一...
广东高校建设AIGC实验室时需要注意哪几个关键点？
tipdm0301的博客
09-25 230
随着人工智能技术的飞速发展，特别是生成式人工智能（AIGC）在各行各业中的广泛应用，它已经成为推动新一轮科技革命和产业变革的关键力量。
AIGC相关
z15f34的博客
09-23 365
GitHub - unit-mesh/auto-dev: 🧙‍AutoDev: The AI-powered coding wizard（AI 驱动编程助手） with multilingual support 🌐, auto code generation 🏗️, and a helpful bug-slaying assistant 🐞! Customizable prompts 🎨 and a magic Auto Dev/Testing/Document/Agent feature 🧪
AIGC对网络安全的影响
学-> 思->用
09-23 116
AIGC是指利用人工智能生成文本、图像、音频和视频等内容的技术。常见的AIGC工具包括GPT系列、DALL-E、Midjourney等。这些技术的进步使得内容生成变得更加高效和智能。
H.264学习笔记
最新发布
zfenggo的博客
09-26 557
H.264凭借其出色的压缩效率、灵活的编码方式以及高质量的视频表现，成为了现代视频技术的核心标准之一。它不仅减少了存储需求，还提高了流媒体和实时视频传输的可行性。对于从高清到超高清视频，H.264的编码能力仍然广泛适用。H.264的帧结构设计（I帧、P帧和B帧）极大地提高了视频编码的压缩效率。I帧保存完整的图像信息，P帧通过参考之前的帧减少冗余数据，而B帧则通过双向参考提供进一步的压缩优势。这种帧间的协同工作大幅降低了带宽需求和存储成本，同时保持了视频的高质量。NALU头。
【算法笔记】二分查找 红蓝染色法
weixin_51325964的博客
09-23 791
一个菜鸟的算法笔记
python学习笔记
qq_32649321的博客
09-20 633
作用：用于增加数组的维度。在数组中使用 np.newaxis 可以在指定位置增加一个新的轴，这通常用于改变数组的形状而不需要复制数据。作用：用于在多维数组上进行迭代。这个函数返回一个迭代器，它生成一个包含数组索引和对应元素值的元组。可以沿着指定的轴重复数组中的元素多次，生成一个新的数组。
Datawhale AI 夏令营
07-12
DataWhale AI夏令营是一款由阿里云举办的针对青少年和大学生的科技教育活动。这个暑期项目旨在激发参与者对人工智能、大数据和机器学习的兴趣，通过一系列课程、实践项目和比赛，帮助他们提升相关的技能知识。活动中，学员可以学习到从基础知识到实战应用的内容，比如Python编程、数据处理、算法理解等，并有机会参与到实际的数据分析项目中，培养创新思维和技术能力。此外，DataWhale还提供了一个交流平台，让营员们能够与其他技术爱好者互动，共同成长。参加这样的夏令营对于未来想进入科技行业特别是AI领域的人来说是一次很好的启蒙和实践经验积累的机会。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值