【ComfyUI教程】MV-Adapter生成多视角一致图像

0****1

介绍

今天介绍个好玩的,刚出来没几天,是北大、上交的一篇论文,主要是用MV-Adapter做基于SDXL模型的多视角生成。目前支持分辨率768x768。

我测试下来发现效果很不错,比以前提示词来控制多视图一致性好多了。

MV-Adapter:轻松生成多视图一致图像,目前支持文生图和图生图。

该扩展将MV-Adapter集成到 ComfyUI 中,允许用户直接在 ComfyUI 界面中根据文本提示或单个图像生成多视图一致图像。

02

相关安装

2.1 插件安装

插件地址:

节点管理器搜 MVAdapter 即可安装。

这个插件的依赖比较高,如果你本身安装过很多插件,可能会有依赖冲突,我是直接用客户端那边来体验这个功能的。

特别是这个transformers,超过4.45左右就会和很多插件不兼容的,所以我没有安装到我默认的版本上,我是另外起了一个环境安装。你如果刚开始玩,节点不多的可以直接安装。

这里给出重新安装ComfyUI的三种方案:

官方客户端方案:

https://github.com/Comfy-Org/desktop

官方网页端方案:

https://github.com/comfyanonymous/ComfyUI

秋叶comfyUI整合包:

2.2 模型安装

这边要求挺多,运行插件会自动下载,有两种版本,一种是使用 diffusers模型,一种是我们平时使用的SDXL模型,工作流运行的时候会提示安装很多模型,所以首次要等一会,文末我会提供我下载好的。

存放路径:\models\diffusers 网盘到时候提供diffusers 整个目录。

插件里面自带了工作流,可以直接体验,有6个,分别是文生图和图生图的,区分diffusers和ldm版本,要使用diffusers版本就要先安装上面我说的一些模型,ldm就是我们平时使用的SDXL模型。

03

功能介绍

目前支持文生图和图生图两种,我更喜欢后者图生图。

消耗的显存我对比了下

文生图:显存占用13G左右

图神图:显存占用16G左右

所以,显卡小于16G的有点风险,官方文档多是最高14G左右,我实际测试用到更高一些。

3.1 文生图

下面这个我用的是 t2mv_sdxl_diffusers.json 工作流

简单的提示词就可以出效果了。

1 cute black cat,3D

下面是使用 t2mv_sdxl_ldm.json 跑的,用的是原生的SDXL模型,简单做个对比

左边是上面的diffusers,右边是原生sdxl模型

3.2 图生图

文生图效果一般,我更喜欢先用其他模型生成好用的图了,再拿到这个工作流转成多试图。

图生图工作流如下:

下面4个是我分别用4种不同方式做的对比,大家看看喜欢哪种:

左上:stable-diffusion-xl-base-1.0

右上:默认的SDXL原生模型

左下:第三方SDXL 3D模型

右下:第三方SDXL 3D模型+lora

我咋感觉用stable-diffusion-xl-base-1.0效果更好一些。

左上角是原图,其他5张图是扩展出来的其他视角,图像接入后会调整到768x768

也支持自己添加lora版本,我测试下来使用了lora好像效果不是很大,这个具体大家也测试看看。

对了,你也可以直接把图片接入,不走抠图以及重新设置宽高那个节点,不过出来的效果好像不是挺好。

下面是对比图,系统还是会自动裁剪成768x768。

其他效果图:

一些注意点

执行的时候窗口一直会提示这个错误,不过不影响最终生成。

显存占用官方说14G左右,我测试下来快接近16G了,官方也给出了一些推荐方案,大家可以设置下,这样有效降低显存使用

视角还是推荐设置6,因为目前开源的是在6个视频上训练的模型,所以改了效果可能就不大好了。

04

总结

以上就是这次多视图插件MV-Adapter的使用分享,挺不错的,感兴趣的可以下载体验了。

技术的迭代是飞快的,要关注最新的消息才不会掉队。

关注我,每天分享最新的ComfyUI技术前沿。

本篇中的工作流打包好了,想要的去后台获取吧。

工作流获取扫下图

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

对于0基础小白入门:

如果你是零基础小白,想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!

零基础AI绘画学习资源介绍

👉stable diffusion新手0基础入门PDF👈

(全套教程文末领取哈)
在这里插入图片描述

👉AI绘画必备工具👈

在这里插入图片描述

温馨提示:篇幅有限,已打包文件夹,获取方式在:文末

👉AI绘画基础+速成+进阶使用教程👈

观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

温馨提示:篇幅有限,已打包文件夹,获取方式在:文末

👉12000+AI关键词大合集👈

在这里插入图片描述

这份完整版的AI绘画全套学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值