大家好我是安琪!!!
只需一张图,SV3D就能生成对应的3D模型,相比于自家之前发布的Stable Zero123,模型质量更高,功能更强!
与之前基于Stable Diffusion1.5的Stable Zero123不同,SV3D以Stable Video Diffusion为基础,充分利用了视频模型的功能性。
与图像扩散模型相比,视频扩散模型在生成输出的泛化和视图一致性方面存在明显优势。
从上面的演示我们可以看到,SV3D的生成效果大大超越了当前的同类模型,视频模型的理解能力确实不一般,篮球、玉米、钟表都做的相当还原。
SV3D的核心在于利用视频模型的时间一致性来实现空间三维一致性的新多视角合成。具体来说,SV3D采用了以下三种技术策略:
-
新型多视角合成:SV3D通过调整潜在视频扩散模型(Stable Video Diffusion - SVD)来生成给定物体的多个新视角图像,并利用显式的相机姿态条件控制。这种方法不仅保持了视频模型在多视角一致性方面的优势,而且还提高了模型的泛化能力。SV3D以单个物体图像作为输入,并输出该物体的多个新视角图像。然后,可以使用这些新视角图像和SV3D来生成3D网格模型。
-
三维生成:SV3D模型通过优化NeRF和DMTet网格,以粗到细的方式进行三维物体生成。得益于SV3D在多视角一致性方面的表现,该方法能够直接从SV3D生成的新视角图像中产生高质量的三维网格。
-
改进的三维优化技术:SV3D提出了一种掩蔽得分蒸馏采样(SDS)损失函数,以增强在SV3D预测的新视角图像中不可见区域的三维质量。
-
此外,SV3D还提出了一种解耦照明模型,有效减少了内置照明问题。
模型下载(需要的同学可以自行扫描获取)
如何使用
ComfyUI到最新版本,目前ComfyUI的最新版本已经支持SV3D模型生成了。也可以使用ComfyUIManager中的Update ComfyUI来升级软件。最后需要下载sv3d_p.safetensors模型并放置在ComfyUI/models/checkpoints/目前下,也可以新建SV3D目录分组本地模型,便于查找。最后重启ComfyUI,导入入SV3D流程。
ComfyUIManager更新方式
ComfyUI导入流程后界面
资料软件免费放送
次日同一发放请耐心等待
学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!
需要的可以扫描下方CSDN官方认证二维码免费领取【保证100%免费】
**一、AIGC所有方向的学习路线**
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
这份完整版的学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】