【ComfyUI专栏】ComfyUI 实现多角度生成

最新推荐文章于 2025-06-06 20:58:54 发布
最新推荐文章于 2025-06-06 20:58:54 发布
阅读量940 收藏
点赞数 38
分类专栏： ComfyUI 文章标签： ComfyUI AIGC
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fogyisland2000/article/details/148248239
版权

我们在很多时候需要生成多个不同的角度的场景用来进行Lora训练，而生成多角度的难点在于需要需要多个照片进行训练。

当前我们从互联网上找到相应的模板用于图片的生成效果。

为了能够让不同的图片定位到不同的区域中，我们需要需要设置不同的区域效果。

当前我们通过姿态和空格来定位最终的图片生成结果和效果。

按照要求，我们最终成图效果如下：

ComfyUI 完全入门：ControlNet
程序员，AI探索者
06-21 1594
很多同学对ComfyUI可能还不太了解，我这里做一个简单的介绍。在AI绘画领域，Stable Diffusion 因其开源特性而受到广泛的关注和支持，背后聚拢了一大批的应用开发者和艺术创作者，是AI绘画领域当之无愧的王者。目前使用 Stable Diffusion 进行创作的工具主要有两个：Stable Diffusion WebUI 和 ComfyUI。
SD3发布，送你3个ComfyUI工作流
程序员，AI探索者
06-21 1589
SD3是一个多模态的 Diffusion Transformer 模型，这个模型有什么特点呢？多模态：这个词大家可能比较陌生，不过也很简单，就是一个模型中有多个子模型，它们分别处理不同方面的任务，让模型的整体能力更强。在SD3内部，模型先将文本和图像分为两个子模型，然后在后续的处理中又把它们连接起来。通过这种方法，允许图像和文本令牌之间的信息流动，以改善生成输出的整体理解和排版。Diffusion：这个大家可能都很熟悉了，SD这个名字中就包含它。
ComfyUI完全入门：图生图局部重绘
程序员，AI探索者
05-25 2751
这篇文章的主题和美女有关，不过并不是教大家生产美女视频，而是讲解 ComfyUI 的图生图局部重绘，其中将会以美女图片为例，通过更改大长腿上的黑丝、白丝，来展示局部重绘的强大威力。
扩散模型入门：从噪声到生成的一步步演化
最新发布
努力分享一些人工智能相关的知识干货！
06-06 471
扩散模型（Diffusion Models）已成为当今生成模型领域的主流方法之一，从图像、音频到视频、3D生成，扩散模型凭借其稳定性与高保真度逐步取代 GAN 成为工业界主力工具。本文作为专栏首篇，将从零出发，系统梳理扩散模型的基本原理：它是如何将干净的数据“加噪声”进行破坏，又如何通过反向过程“去噪声”逐步还原出真实图像。本篇不涉及复杂公式，重点放在对核心思想、系统流程和工程化思维的讲解，帮助初学者建立整体认知框架，也为后续深入章节打下坚实基础。
2024年AI艺术创作领域发展大事件！
JavaEdge全是干货的技术号
02-21 615
点击下方“JavaEdge”，选择“设为星标”第一时间关注技术干货！免责声明~任何文章不要过度深思！万事万物都经不起审视，因为世上没有同样的成长环境，也没有同样的认知水平，更「没有适用于所有人的解决方案」；不要急着评判文章列出的观点，只需代入其中，适度审视一番自己即可，能「跳脱出来从外人的角度看看现在的自己处在什么样的阶段」才不为俗人。怎么想、怎么做，全在乎自己「不断实践中寻找适合自己的大道」0...
Dify将建充满活力的插件生态系统！
JavaEdge全是干货的技术号
05-28 764
Dify 致力于构建一个开放、共享、充满活力的生态系统，让来自 Dify、社区开发者、企业以及第三方平台的组件无缝集成，实现价值共享和资源共享。Dify将认真倾听社区反馈，持续优化产品功能，致力于构建一个开放、繁荣、促进创新、资源共享的生态系统。为支持生态系统发展，Dify将建立持续的合作伙伴网络，打造开放的 AI 中间件平台，连接工具与用户，并提供定制化的解决方案。Dify 提供灵活的开发框架，集成日益强大的模型、工具、决策逻辑和数据库，不断增强 AI 核心能力，使开发更加高效、智能，满足复杂的需求。
【生成式模型】什么是扩散模型？从 DDPM 到 StableDiffusion 的发展脉络
努力分享一些人工智能相关的知识干货！
04-18 726
扩散模型（Diffusion Models）正在重新定义生成模型的未来。相比 VAE 模糊、GAN 难训的老问题，扩散模型用“加噪→去噪”的简单思想，建立起稳定、可控、高质量的图像生成体系。从原始论文 DDPM（Denoising Diffusion Probabilistic Models）到爆火的 Stable Diffusion，它不仅推动了图像生成工具的全面民主化，也成为多模态 AI 系统（如 Sora、Runway、ControlNet）的底层核心支撑。 本文将带你梳理扩散模型的发展路径，理解
释放Stable Diffusion 无限可能
亚马逊云科技专栏
04-26 1376
最近在整理大语言模型的系列内容，Stable Diffusion 是我下一篇博客的主题。关注 Stable Diffusion，是因为它是目前最受欢迎和影响力最大的多模态生成模型之一。Stable Diffusion 于 2022 年 8 月发布，主要用于根据文本的描述产生详细图像，当然它也可以应用于其他任务，比如内补绘制、外补绘制，以及在提示词指导下，对现有图形进行风格化或转变。Stable Diffusion 模型版本正在快速迭代，开源生态也在逐步扩展，对行业生产力带来了巨大的变革。
Stable Diffusion简单食用方法
wacanda的博客
05-20 1716
1.1打开B站哔哩哔哩 (゜-゜)つロ 干杯~-bilibili哔哩哔哩（bilibili.com)是国内知名的视频弹幕网站，这里有及时的动漫新番，活跃的ACG氛围，有创意的Up主。大家可以在这里找到许多欢乐。1.2搜索up主秋葉aaaki（葉ye）秋葉aaaki的个人空间-秋葉aaaki个人主页-哔哩哔哩视频喂饭区UP主，玩AI的 希望能为大家带来技术的乐趣~ 付费咨询在爱发电同名，商务：work@anzu.link 微博：秋葉aaaki1.3找到TA的专栏。
AIGC-SD6、AIGC-3D
sinat_34461199的博客
06-05 153
一句话总结：提供了一种两阶段优化方案：一阶段基于输入图片，通过神经辐射场及扩散模型，生成全新其他视角的图像。二阶段将粗模转化成含有精细纹理点云模型，同时解决噪声点云的引入问题。
AIGC 基础篇 高等数学篇 03 中值定理与导数应用
2503_91291623的博客
06-04 320
中值定理与导数应用复习
AIGC 基础篇 Python基础 01
2503_91291623的博客
06-06 617
python注释，变量，基础数据类型，赋值
AIGC-SD3、控制
sinat_34461199的博客
06-05 619
本文提出一种两阶段多概念生成方法 OMG，一阶段先不用特定概念信息生成一张垫图，确定构图布局，然后提取垫图全面的视觉信息（mask 和 attention map），二阶段将各角色的特定概念信息作用于对应的 mask 区域，避免信息泄露，属性错乱，并复用一阶段的 attention map，维持构图布局不变。controlnet基于深度图生图的效果很好，但需要精确的深度图（这本身就是有挑战性的），为此，作者提出了loose control，一种通用版本（更松散的）的深度图控制。(a)默认奖励微调策略管道。
AIGC-SD1、原版SD
sinat_34461199的博客
06-05 579
ADD是两个损失函数来进行蒸馏的，第一个是Adversarial loss（对抗损失），用了一个Discriminator(判别器）来判断生成图片跟真实图片的区别，同时避免其他蒸馏方法中出现的模糊和其他人造的感觉。SDXL-Turbo的两个loss的ADD方案，一个去确保生成质量(Adversarial loss，GAN的核心思想)，一个去确保跟原模型的一致性（Distillation loss）使用了几个简单但是非常有效的训练技巧，包括图像尺寸条件化策略，图像裁剪参数条件化以及多尺度训练等。
AIGC-SD9、知识点
sinat_34461199的博客
06-05 1000
Rectified Flow 原理简介与示例代码解读-CSDN博客。
AIGC-SD2、一致性
sinat_34461199的博客
06-05 588
风格特定块的特征注入：InstantStyle将参考图像的特征专门注入到风格特定的块中，避免了风格泄漏，并省去了繁琐的权重调整过程，这一点在参数更重的设计中尤为突出。预训练的ControlNet也可用于布局控制生成。PhotoMaker是一个文本到图像的生成方法，它接收多个输入ID图像（Identity Images），并生成一个基于文本提示的新图像，同时保留输入ID的特征。延续 IP-Adapter 思路，只需要一张参考图即可直接生成和参考图风格相似的图，不需要依赖于复杂的配对数据集或者额外的模块。
AIGC-SD5、高效微调
sinat_34461199的博客
06-05 613
虽然 LoRA 具有参数的高效性 parameter-efficient, ，但它存在两个主要问题：首先，LoRA 文件的大小是固定的，在训练后无法修改，如果我们需要更改其中的 Rank 秩数，那么只能从头开始训练，在训练过程中调整 Rank 秩数然后再次生成新的模型。DyLoRA 可以同时学习低于你指定的 Rank 的各个 Rank 的 LoRA，这便导致训练好的 DyLoRA 模型文件的 Rank 是可轻易调整的，因此当你想要选择最佳 Rank 秩时它非常有用且高效。最初的 LoRA 在提出时是针对。
AIGC 基础篇 高等数学篇 04 不定积分
2503_91291623的博客
06-05 302
不定积分
AIGC 基础篇 高等数学篇 02导数与微分
2503_91291623的博客
06-03 304
导数与微分复习
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

雾岛心情

欢迎你的打赏

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值