有了AI算法,普通人也能成为街舞大神

640?wx_fmt=png

要说今年最火的综艺,非年初的《这就是街舞》莫属,它成功唤起人们对于舞蹈的最原始的悸动。然而,想成为优秀的dancer,天赋和勤奋必是缺一不可,四肢不协调?那就只有望而却步的份儿。不过,前两天加州大学伯克利分校新的人工智能研究,给条件不够好的舞蹈爱好者带来了希望。

640?wx_fmt=gif

随便扭扭,就能自主提取匹配优秀的街舞大神的动作,完成人物替换,生成自己在跳舞的视频,是不是很酷炫?!

640?wx_fmt=gif

放在过去,这种人物动作的替换可并不容易。

需要先对要替换的人物进行建模,然后再进行动作捕捉和复杂的调整,最后还要制作耗费颇高的三维渲染。

640?wx_fmt=gif

但是随着“生成对抗网络”(GAN)算法的发展,可能只要一台性能还不错的笔记本电脑,就能实现看起来还不错的替换效果。

640?wx_fmt=png


这篇文章的名字叫做:Everybody Dance Now, 是加州大学伯克利分校的研究人员:Caroline Chan, Shiry Ginosar, TingHui Zhou, Alexei A. Efros 在8月22日提交到 arXiv上的。文章中提出了一个简单动作迁移的方法:首先选择一支单人跳舞视频作为源视频,将其中的动作转换到目标视频中。 只需要几分钟,在另一个目标视频上的目标人员(完全不会跳舞的人)就会呈现同样的动作。


文章将动作姿态迁移看作是每一帧上图像到图像的转换,同时保证时间和空间的流畅。用动作探测器作为源视频和目标视频中间的表示,学习了一组从舞者动作画面到目标物体的映射,并且对这些数据进行调整,让它与视频完美融合,同时还加上了真实的人脸合成。通过这一框架,他们让很多未经训练的人跳出了芭蕾和街舞。

文章设计了能体现动作的中间表现形式:左图的火柴人。

640?wx_fmt=png

从目标视频中,作者用动作识别器为每一帧制作了(火柴人, 目标人物图像)的组合。有了这样相关的数据,作者就能用监督方法学习火柴人和目标人物之间图像到图像的转换模型了。之后,为了将源视频的动作迁移到目标视频中,作者把火柴人输入到经过训练的模型后,得到和源视频中人物相同的目标动作。


640?wx_fmt=png


另外,为了提高生成的质量,作者添加了两个元素:

1. 为了使生成的模型更连贯,作者会根据上一帧对目前的帧进行预测; 

640?wx_fmt=png


2. 为了提高生成人脸的真实性,作者加入了经过训练的GAN来生成目标人物的脸部。

640?wx_fmt=png

最后,让我们来欣赏一下生成的视频:

小编在感叹黑科技真厉害的同时,不禁为该算法的用途捏一把汗。因为就在前些天,Reddit上一位名为deepfakes的网友利用TensorFlow机器学习工具伪造出盖尔·加朵的色情电影。随后,他公开了使用的代码,发布了许多用深度学习换脸的教程,甚至还制作了一个叫做“FakeApp”的换脸程序,一时间参与的人数众多,各路明星都惨遭毒手。

640?wx_fmt=gif

事实上,这种做法的背后,是巨大的问题隐患。首先,视频可以说是编辑门槛最高的大众媒体形式,假如视频上的人物都可以被轻易替换,那么互联网的可信度也几乎为零,“有图有真相”将被扫进垃圾堆。另一方面,不论是替换的,还是被替换的当事人,都有可能受到心理与名誉上的伤害。而一些用游戏角色替换真人脸孔的视频,更是让人不禁对道德、人性和人本身的价值产生思考。

正是基于这些考虑,互联网企业做出了一些应对的举措。现在已经很难在主流网站(包括成人网站)上看到普通用户上传的使用人工智能进行替换的视频了,Reddit上的Deepfakes板块也在今年二月份被永久封禁。

640?wx_fmt=gif

当然,这种技术目前有很多不足,对样本和替换内容还有一定要求,很多成品依然能看到很明显的缺陷。不过考虑到现在人工智能技术的发展速度,可能我们离接近完美的效果也不算太远了。那也是许多事情需要上升作为社会伦理问题被严肃对待的时刻。

∞∞∞

640?wx_fmt=png

公众号回复“IT派”

邀你加入IT派 { 技术青年圈} 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值