2张图就可生成一段逼真视频,来自Stable Diffusion技术团队

新魔法!效果炸!

两张静态图片,几秒即生成视频,丝滑如实拍!

两张照片,就能让小狗慢慢抬起头,连身体也随之伸展:

img

还是两张照片,一键生成。

小女孩跳起,双手自然交叉,衣服轻轻摆动,与实拍别无二致:

img

这些视频由一个帧插值工具根据图片生成,人人都能在线免费玩(链接见文末)。

这两天刚公布就在网上引发不小关注,推特上like超过2500。

img

评论区里,网友一片喜大普奔

有人感到大受震撼,鹅妹子嘤:

img

还有人表示,这是什么现代巫术:

img

当然,还有更多网友迫不及待想试试。

img

它究竟什么个来路?往下看。

Frame Interpolation试玩

先看看试玩效果。

登陆web端口,上传两张开花图片:

img

设定好视频时长,比如2秒,就能得到这一段视频,花朵慢慢打开,镜头也逐渐拉近:

img

再试试两张狗子照片,让它转个头:

img

不过,上传两张鸟在天空不同位置飞的照片,效果就不ok了:

img

前文提及,该产品是一种**帧插值(Frame Interpolation)**工具。

所谓帧插值,即在视频两个帧之间,插入一部分新的合成帧,相关技术被广泛应用于图片生成视频、视频流中的帧修复。

谷歌今年有篇《大幅动作的帧插值》(About FILM: Frame Interpolation for Large Motion)已被ECCV 2022接收。

技术人员通过双向运动估计、与尺度无关的特征提取等方式,做出了较好的帧插值效果。

img

就目前来说,该技术难以突破的点在于:

即便是短短几秒,图片中人物或物体也进行了一套复杂动作,使得帧插值后,视频失真。

不过,如果不追求写实,做出一些魔幻效果,该技术已经绰绰有余(手动狗头):

img
△ 比如让建筑变成变形金刚

背后团队与Stable Diffusion有渊源

此番大火的帧插值工具背后团队叫:Runway

img

最近AIGC圈顶流,Stable Diffusion,所依据的论文《High-Resolution Image Synthesis with Latent Diffusion Models》正是由慕尼黑大学、海德堡大学及他们共同完成。

其中作者之一的Patrick Esser,也是Runway的首席科学家。

(值得一提的是,Patrick Esser及Runway前段时间还在与Stability AI因Stable Diffusion来回扯皮。)

img

根据公开资料,Runway成立于2018年,是一家希望用AI/ML与计算机图形学技术在视频、图像、音乐、文本领域提供内容创意工具的创业公司,总部位于美国纽约。

截至目前,该公司已总计获得4550万美元投资,投资方包括Coatue、Amplify、Lux、Compound等机构。

Runway旗下产品涉及多个模态,不仅有开头提及的静态图片生成丝滑视频,也包括文本生成图像、图片移除背景、依靠文本对图像修改、删除视频中物体、声音去噪等等。

img
感兴趣的朋友,可在他们的官网试玩。

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

👉[[CSDN大礼包:《StableDiffusion安装包&AI绘画入门学习资料》免费分享]]安全链接,放心点击

对于0基础小白入门:

如果你是零基础小白,想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!

零基础AI绘画学习资源介绍

👉stable diffusion新手0基础入门PDF👈

(全套教程文末领取哈)
在这里插入图片描述

👉AI绘画必备工具👈

在这里插入图片描述

👉AI绘画基础+速成+进阶使用教程👈

观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
在这里插入图片描述
温馨提示:篇幅有限,已打包文件夹,获取方式在:文末

👉大厂AIGC实战案例👈

光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述

👉12000+AI关键词大合集👈

在这里插入图片描述
这份完整版的学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值