真的,这款AI视频模型的新功能,正在加速AGI的到来......

AI视频生成领域还有高手?

真是离大谱了,全球首个支持多图融合生成的AI视频模型,它来了!

现在,你只需要上传3张参考图,就能将这3张图中的主体融合进一条视频中,这意味着你能够精准控制视频生成的效果了…

这个AI视频模型就是Vidu AI刚发布的Vidu-1.5。

可能大家对Vidu AI有些陌生,它是今年4月份,继Sora之后,国内首个支持长视频、高一致性、高动态性的视频大模型,而它的团队是由清华大学和中国的AI初创公司生数科技联合开发。

但是在后续它的影响力并不如可灵、海螺等一众国产AI视频模型。

直到11月13日,他们正式上线了Vidu-1.5模型,成为全球首个解决“多主体一致性”问题的AI视频模型。

这份完整版的AI绘画全套学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

简单来说,这个功能支持上传1-3张参考图,来实现对图片中多主体的交互控制,以及主体与环境的融合控制。

用官方演示的视频为例,上传“黑人小哥、机甲套装、城市街景”这3张图片,Vidu就能自动提取图片中的人物、服装和场景,并将这三中元素无缝融合,生成一段“穿着机甲的黑人小哥,走在夜晚城市街道”的视频。

你可以用它做广告创意片,比如丢给Vidu AI这三张图片,红色的椅子、人物模特、饮料产品,就可以得到一段这样的视频。

你也可以上传人物、服装和T台场景,就能实现模特换装+走秀的视频效果了,我已经能想到这功能在电商行业中的应用场景了,电商领域的工作流又将迎来革新…

不只是真实的人物场景,在三视图的插画场景中,它也能给你搞定人物转身,并且主体非常的准确。

这玩意真的是颠覆性的更新,你以前只能上传一张图片,然后通过提示词来控制视频内容,大部分情况下,一段不错的视频效果是需要反复抽图。

而现在Vidu AI能上传多张图片进行融合,精准的控制多元主体。

真的,AIGC的商业化应用离不开“精准控制”这4个字,很显然,Vidu AI已经往前迈了一大步。

现在,你就可以在Vidu AI体验这个功能,每个账户有3次免费生成机会。

登录Vidu AI官网:https://www.vidu.studio/

用我在某真蓝拍的人物照玩一下。

我要穿着钢铁侠的战衣,走在夜晚的街道上。那么我就需要准备这3张图,分别是人物原图(面部放大一些)、钢铁侠的战衣(把头部去掉)、夜晚的街景图。

然后提示词可以这样描述:亚洲男子,穿着钢铁侠战衣,走在夜晚城市的街道上。

你别说,这胖脸还真像… 每次长肉先从脸开始,太离谱了。

不知道为什么前面走了一个人,C位都被占了。但是这画面控制的真好啊,可以看看我上传的图片。

我最喜欢的老马,不能错过了!我想看看穿着裙子在沙滩上跳舞的首富,马斯克!提示词:马斯克穿着黑色的裙子,在沙滩上跳舞

好家伙,这衣服“串”了吧,上身西服,下半身裙子,真的抽象。

这次生成的并不准确,要不是没免费次数了,我还得好好调一下。

这里翻车也能看出,该功能目前还未完善,还有优化空间,但是这个技术确实是一个重要的创新。

Vidu 1.5模型是基于多模态学习技术,整合视觉、文本和声音等多种信息源,使AI能理解和处理不同形式的数据。同样也是采用了Diffusion模型和Transformer模型的融合架构。

但这次的“多主体一致性”功能却不是采用主流的LoRA微调方案,因为这一方案通常需要庞大的数据输入和复杂的训练过程,成本高昂且容易导致模型过拟合。

它是基于通用模型能力的提升,通过输入1-3张图片,实现多角度、多主体、多元素的一致性生成。

并且它将LLM模型的上下文学习能力,引入到视频模型中,把所有的问题统一为简单的输入和输出。

要知道,大语言模型能够理解复杂的指令/问题和长文本信息,并且能连贯的输出符合情景的回答/内容,借助的技术之一就是“上下文学习”能力。

而Vidu 1.5模型现在拥有了这项能力,这意味着曾是大语言模型独有的优势,如今已在视觉模型中得以体现。

这也标志着,视觉模型也如语言模型一样实现了“大跨越”。视觉模型将具备更强的认知能力,而AGI时代正在加速到来…

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

对于0基础小白入门:

如果你是零基础小白,想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!

零基础AI绘画学习资源介绍

👉stable diffusion新手0基础入门PDF👈

(全套教程文末领取哈)
在这里插入图片描述

👉AI绘画必备工具👈

在这里插入图片描述

温馨提示:篇幅有限,已打包文件夹,获取方式在:文末

👉AI绘画基础+速成+进阶使用教程👈

观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

温馨提示:篇幅有限,已打包文件夹,获取方式在:文末

👉12000+AI关键词大合集👈

在这里插入图片描述

这份完整版的AI绘画全套学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值