#Datawhale X 魔搭 AI 夏令营# AIGC文生图 Task3

于 2024-08-16 23:46:04 发布
阅读量96 收藏 4
点赞数 3
文章标签： 人工智能 AIGC
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/eeisme_/article/details/141271920
版权

Part 1 ComfyUI 初探索

ComfyUI 是GUI的一种，是基于节点工作的用户界面，主要用于操作图像的生成技术，ComfyUI 的特别之处在于它采用了一种模块化的设计，把图像生成的过程分解成了许多小的步骤，每个步骤都是一个节点。这些节点可以连接起来形成一个工作流程，这样用户就可以根据需要定制自己的图像生成过程。

核心模块

模型加载器：Load Checkpoint 用于加载基础的模型文件，包含了Model、CLIP、VAE三部分

提示词管理器

采样器

解码器：VAE模块的作用是将Latent space中的embedding解码为像素级别的图像

Part 2 LoRA微调

核心思想：LoRA通过在预训练模型的关键层中添加低秩矩阵来实现。这些低秩矩阵通常被设计成具有较低维度的参数空间，这样它们就可以在不改变模型整体结构的情况下进行微调。在训练过程中，只有这些新增的低秩矩阵被更新，而原始模型的大部分权重保持不变。

W=A\!\bulletB

W=100\times100      A=100\timesk     B=k\times100

k:Rank

如果认为矩阵W的含金量比较小，则可以选择比较小的k; 反之，则选择比较大的k。

k越小，我们所需要学习的参数会变得更少。

优势：节省大量显存空间，减少学习成本；保持泛化能力；快速适应新任务。

UNet

负责根据输入的噪声和文本条件生成图像。在Stable Diffusion模型中，UNet接收由VAE编码器产生的噪声和文本编码器转换的文本向量作为输入，并预测去噪后的噪声，从而生成与文本描述相符的图像

VAE

生成模型，用于将输入数据映射到潜在空间，并从中采样以生成新图像。在Stable Diffusion中，VAE编码器首先生成带有噪声的潜在表示，这些表示随后与文本条件一起输入到UNet中

文本编码器

将文本输入转换为模型可以理解的向量表示。在Stable Diffusion模型中，文本编码器使用CLIP模型将文本提示转换为向量，这些向量与VAE生成的噪声一起输入到UNet中，指导图像的生成过程

数据集的准备

eeisme_
关注
  • 3
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
#Datawhale X 魔搭 AI 夏令营# AIGC文生图 Task2
eeisme_的博客
08-14 770
一般来说，属于，通过海量的图库和文本描述的深度神经网络学习，最终的目标是(不管是文本还是图片还是任何)通俗来说，获得图片生成能力主要是通过 学习以及，尝试将这两者进行一一对应，存储在自己的记忆里。在我们需要的时候，通过输入的文字，复现出来对应的图片特征，从而生成了我们需要的图片。
AIGC文生图 Task01#Datawhale X 魔搭AI夏令营
2301_77161393的博客
08-09 617
是 Datawhale 2024 年 AI 夏令营第四期的学习活动（），基于魔搭社区开展的实践学习。以下是笔者对Task01教程的一些记录。
#Datawhale X 魔搭 AI 夏令营# AIGC文生图 Task1
eeisme_的博客
08-11 131
首先，代码导入了需要用到的库，包括 data-juicer 和微调的工具 DiffSynth-Studio。Data-Juicer：数据处理和转换工具，旨在简化数据的提取、转换和加载过程。DiffSynth-Studio：高效微调训练大模型工具。：下载数据集kolors，处理数据集。：模型微调训练，以及加载训练后的模型。：调用训练好的模型生成图片。
AIGC文生图 Task02#Datawhale X 魔搭AI夏令营
2301_77161393的博客
08-13 671
在Task2文档中，我见到了使用通义千问来分析代码，解释代码，追问代码，在prompt提示词部分也借助该工具完成场景表格的建立。在AI时代，掌握如何利用AI工具成为了一项重要的技能。无论是提高个人能力还是推动团队进步，AI工具都发挥着不可替代的作用。我们应该学会使用AI工具来帮助我们学习未知领域，亦或是加速我们的相关工作。
Datawhale X 魔搭 AI0夏令营 魔搭-AIGC文生图方向 Tsak 3 就要完成了
最新发布
08-16
111
Datawhale AI夏令营第四期魔搭- AIGC文生图方向 task01笔记
08-09
Datawhale AI夏令营第四期魔搭- AIGC文生图方向 task01笔记
中国AIGC产业联盟_无界AI：中国AIGC文生图产业自皮书.pdf
07-02
- **定义与概念**：AIGC（Artificial Intelligence Generated Content），即人工智能生成内容，是一种利用人工智能技术自动生成文本、图片、视频等内容的技术。文生图作为AIGC的一个分支，特指将文字描述转化为图像...
2023中国AIGC文生图产业自皮书.pdf
08-02
2023中国AIGC文生图产业自皮书.pdf2023中国AIGC文生图产业自皮书.pdf2023中国AIGC文生图产业自皮书.pdf2023中国AIGC文生图产业自皮书.pdf2023中国AIGC文生图产业自皮书.pdf2023中国AIGC文生图产业自皮书.pdf2023中国...
diffusers-flask-streamlit AIGC文生图代码案例，前端后端代码
03-01
参考：https://github.com/lonngxiang/diffusers-flask-streamlit
C/C++开发，opencv内置背景减除算法与运动检测
技术需要分享
08-14 1075
C/C++开发，opencv内置背景减除算法的完整代码及编译过程示例
Spark MLlib 特征工程(上)
08-14 3117
特征选择的动机，在于提取与预测标的关联度更高的特征，从而精简模型尺寸、提升模型泛化能力。特征选择可以从两方面入手，业务出发的专家经验和基于数据的统计分析。归一化的目的，在于去掉不同特征之间量纲的影响，避免量纲不一致而导致的梯度下降震荡、模型收敛效率低下等问题。归一化的具体做法，是把不同特征都缩放到同一个值域。在这方面，Spark MLlib 提供了多种归一化方法供开发者选择。
AI赋能软件测试：从自动化到智能化，让测试工作事半功倍
m0_64146991的博客
08-15 311
APP端测试，专项测试，测试工具
GraphRAG：复杂查询的知识图谱新框架
YeJuliaLi的博客
08-14 866
微软最近发布了名为 GraphRAG（Graphs + Retrieval Augmented Generation）的创新 RAG 框架，这是一个将文本提取、语义网络分析，与大语言模型（LLM）的提示和总结功能结合在一起的端到端系统，用于深入理解文本数据集。在对私有数据中的复杂文本信息进行文档分析时，GrahRAG 使用 LLM 生成的知识图谱来大幅提高问答性能。这里的私有数据集是指 LLM 没...
阿里推出视频 AI 生成式框架 Tora，通过轨迹生成视频
qq_57728300的博客
08-13 632
阿里集团推出面向轨迹的视频生成框架 Tora，可以生成精美的视频。
Denosing && RayDN-对同一射线的误检测优化
zisuina_2的博客
08-16 370
Denosing操作理解DN-DETR增加denosing操作，帮助快速拟合，提高了目标检测任务中的效率和精度。通过这种方式，DN-DETR 克服了原始 DETR 的一些限制，使其在实际应用中具有更好的性能和鲁棒性。GTBoxes通过随机偏移H, L,W进行偏移，当中心点x,y的偏移都>L/2,W/2会将label设置为num_class，也就是负样本，会对GTBoxes重复n次组成n=10。
数字化转型-成就智慧智慧企业
绿茵场的激情
08-12 416
数字化转型是企业迈向智慧化发展的关键路径，通过将先进的数字技术融入企业核心业务，构建智能化、数据驱动的运营模式，实现业务的全面升级与优化。
基于车联网大数据平台的用户驾驶习惯行为画像分析
DolphinDB智臾科技
08-15 627
车联网系统中，利用大数据对驾驶行为进行研究，有助于了解驾驶员的特征，并提供优化建议。本文从用户驾驶行程中的速度偏好、驾驶风格、熟练度三个方面描述用户画像，并介绍如何使用 DolphinDB 基于 K-means 算法的聚类模型生成用户画像与个性化标签，完成数据存储、处理、特征提取、模型构建及预测等全过程。
SciPy：基于 NumPy 的算法库和数学工具包，用于数学、科学和工程领域。
LS_Ai的博客
08-15 852
无论是进行线性代数运算、优化问题求解、积分与微分方程处理，还是进行信号和图像处理，SciPy都提供了高度优化的工具，使得复杂的科学计算任务变得更加简单和高效。SciPy的目标是为用户提供一个全面的科学计算环境，其中涵盖了常见的线性代数、优化、积分、插值、傅里叶变换、信号处理、统计、图像处理、以及ODE（常微分方程）求解等功能。SciPy与NumPy紧密结合，同时也与Pandas、Matplotlib等库有很好的兼容性，这使得它在科学研究、数据分析和工程计算中占据了重要地位。
ai大模型之以文生图
03-14
"以文生图"是一个基于AI技术的文本生成模型，它可以根据输入的文本内容生成相应的图像。这个模型的核心思想是将文本转化为图像，通过学习文本与图像之间的关联，实现文本到图像的转换。 具体来说，"以文生图"模型首先通过深度学习算法对大量的文本和图像数据进行训练，建立起文本与图像之间的映射关系。然后，在给定一段文本描述的情况下，模型会根据已学习到的知识生成相应的图像。 这种模型在很多领域都有广泛的应用，比如广告设计、艺术创作、场景生成等。它可以帮助人们更直观地理解和表达文本内容，提供更丰富多样的视觉呈现方式。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值