新魔法!效果炸!
两张静态图片,几秒即生成视频,丝滑如实拍!
两张照片,就能让小狗慢慢抬起头,连身体也随之伸展:
还是两张照片,一键生成。
小女孩跳起,双手自然交叉,衣服轻轻摆动,与实拍别无二致:
这些视频由一个帧插值工具根据图片生成,人人都能在线免费玩(链接见文末)。
这两天刚公布就在网上引发不小关注,推特上like超过2500。
评论区里,网友一片喜大普奔。
有人感到大受震撼,鹅妹子嘤:
还有人表示,这是什么现代巫术:
当然,还有更多网友迫不及待想试试。
它究竟什么个来路?往下看。
Frame Interpolation试玩
先看看试玩效果。
登陆web端口,上传两张开花图片:
设定好视频时长,比如2秒,就能得到这一段视频,花朵慢慢打开,镜头也逐渐拉近:
再试试两张狗子照片,让它转个头:
不过,上传两张鸟在天空不同位置飞的照片,效果就不ok了:
前文提及,该产品是一种**帧插值(Frame Interpolation)**工具。
所谓帧插值,即在视频两个帧之间,插入一部分新的合成帧,相关技术被广泛应用于图片生成视频、视频流中的帧修复。
谷歌今年有篇《大幅动作的帧插值》(About FILM: Frame Interpolation for Large Motion)已被ECCV 2022接收。
技术人员通过双向运动估计、与尺度无关的特征提取等方式,做出了较好的帧插值效果。
就目前来说,该技术难以突破的点在于:
即便是短短几秒,图片中人物或物体也进行了一套复杂动作,使得帧插值后,视频失真。
不过,如果不追求写实,做出一些魔幻效果,该技术已经绰绰有余(手动狗头):
△ 比如让建筑变成变形金刚
背后团队与Stable Diffusion有渊源
此番大火的帧插值工具背后团队叫:Runway。
最近AIGC圈顶流,Stable Diffusion,所依据的论文《High-Resolution Image Synthesis with Latent Diffusion Models》正是由慕尼黑大学、海德堡大学及他们共同完成。
其中作者之一的Patrick Esser,也是Runway的首席科学家。
(值得一提的是,Patrick Esser及Runway前段时间还在与Stability AI因Stable Diffusion来回扯皮。)
根据公开资料,Runway成立于2018年,是一家希望用AI/ML与计算机图形学技术在视频、图像、音乐、文本领域提供内容创意工具的创业公司,总部位于美国纽约。
截至目前,该公司已总计获得4550万美元投资,投资方包括Coatue、Amplify、Lux、Compound等机构。
Runway旗下产品涉及多个模态,不仅有开头提及的静态图片生成丝滑视频,也包括文本生成图像、图片移除背景、依靠文本对图像修改、删除视频中物体、声音去噪等等。
感兴趣的朋友,可在他们的官网试玩。
关于AI绘画技术储备
学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!
👉[[CSDN大礼包:《StableDiffusion安装包&AI绘画入门学习资料》免费分享]](安全链接,放心点击)
对于0基础小白入门:
如果你是零基础小白,想快速入门AI绘画是可以考虑的。
一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案
包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!
零基础AI绘画学习资源介绍
👉stable diffusion新手0基础入门PDF👈
(全套教程文末领取哈)
👉AI绘画必备工具👈
👉AI绘画基础+速成+进阶使用教程👈
观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
温馨提示:篇幅有限,已打包文件夹,获取方式在:文末
👉大厂AIGC实战案例👈
光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
👉12000+AI关键词大合集👈
这份完整版的学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】