LumaAI发布文生视频大模型Dream Machine
视频生成领域,又添一员猛将!
搜索lumalabs去官网就可体验
魔法后用谷歌账号登录即可马上免费使用,目前一个账号每月可以生成30次视频~
比 Sora 还强?一键打造专业级大片
先来感受一下官方放出的演示 Demo。
文字与视频的转换,在这里达到了一个新的高度。赛车追逐的紧张感和镜头的流畅切换,让人仿佛能感受到风驰电掣的速度,每一个画面都充满了动感和张力。
Dream Machine 的能力不仅限于文字到视频的转换,它还能够将静态图像转化为动态视频,整个过程一气呵成,展现出强大的 AI 视频生成能力。
据 Luma AI 表示,Dream Machine可以根据文本和图像快速制作出高质量、逼真的视频。这是一款高效且具有高扩展性的视频生成模型,直接通过视频数据进行训练,可以生成具备真实物理效果的视频画面。
Dream Machine 可在 120 秒生成 120 帧,目前单个视频最长为 5 秒;生成的视频具有逼真的流畅运动、电影摄影和戏剧效果;还可以匹配摄像机运动,创造出 " 惊艳 " 的画面。
电影级画质,逼真感拉满
官方放出的demo涵盖了各种不同风格和题材的视频,能感觉到最突出的特点就是「电影感」拉满。
不仅有比较好的连贯性,镜头的艺术感也非常不错。
下面这个黑白色调的仰拍镜头,人物动作自然丝滑、一气呵成,裙摆飞起时的幅度虽然有些夸张,但还在可接受范围内。
最重要的是动作符合自然规律,没有出现「手臂融化」、「膝盖外折」这种神奇情况
下面这个demo可以让日漫迷们浅浅兴奋一下,不仅风格对味儿,而且镜头很有意境,可以开始幻想「人均新海诚」了。
比官方demo更精彩的,是各路大神网友们的脑洞创意。
比如在人眼中嵌入一个手绘地球仪。
原本需要几千个高斯点染图的工作,一个Dream Machine就能瞬间完成了。
将世界名画《带珍珠耳环的少女》输入给Dream Machine,就可以让艺术史上这位著名模特瞬间「复活」。
但是模型似乎有它自己的想法和审美,比如视频后半段自行更改了模特的相貌和头巾材质,感觉从17世纪的荷兰少女无缝衔接到21世纪T台。
之前在视频生成模型中很少见到的风格,Luma也搞出来了。
比如下面这个demo,狠狠拿捏住了好莱坞老电影的感觉。
提示:意大利黑手党家族站在桌子周围,一边抽雪茄一边数黄金和金钱
但槽点也不是没有,比如香烟的烟雾扩散似乎不够自然,而且没有遵守提示中的「站在桌子周围」(可能是黑手党老大只会坐着吧)。
比如现代风格的样片,它在少女和猫的呈现效果上水准相当高,尤其是猫的头部和眼部动作。
还有奇幻风格的,生成的人物或者物体也确实奇幻,甚至有些克苏鲁的味道。
结语:视频生成模型赛道再现黑马,2024 会是文生视频爆发的一年吗?