超3000个特效镜头,复联4是怎么在短时间里完成的?

640?wx_fmt=png

本文转载自:超神经HyperAI

机器学习、VR、AR等技术助力电影特效镜头的制作,不仅大大改善科幻电影视觉效果,同时也节省大量人力与时间成本。“复联4”中,使用了大量的机器学习


首先郑重声明,本文不会涉及任何剧透,请放心享用。


期盼已久的《复仇者联盟:终局之战》终于上映了!近300万人在国内午夜零点场熬夜观看。


640?wx_fmt=jpeg


迄今为止,在电影界有着如此大的吸引力的,恐怕非漫威莫属了。有人说:「特效始于电影,高至漫威」。因此,除了精彩的剧情,《复联》系列带来的视觉冲击也是它实力圈粉的原因。


据统计,《复联3》里包含2680个特效镜头,获得第 22 届好莱坞电影最佳视觉效果奖。而距离3首映仅一年,《复联4》就带着超过3000个特效镜头赶来。这背后是12家特效公司、上千人团队以及计算机的工作。


今天我们不聊剧情,聊聊特效与它的新武器人工智能的那些事。


640?wx_fmt=jpeg



假如复联没有特效


很难想象没有特效的复联会是什么效果。而没有强大的技术力量,《复联4》可能也不会这么快与我们见面。要知道,曾经以特效惊艳观众的《阿凡达》每帧画面平均耗费了4万个人工小时。


特效是指影视作品拍摄和制作中,利用数字技术的手段「制作」出难以完成或者有危险的画面。


我们常说的「大场面」就是优秀的视觉特效了。


《复联 3 》全片 2680 个特效镜头,只有4个镜头没使用特效。刷新了当时漫威电影的特效镜头纪录,这些特效制作成本高达 2.5 亿美元。所以如此打造的视觉盛宴,谁能扛得住。


640?wx_fmt=jpeg

640?wx_fmt=jpeg

如果没有特效,你看到的复联,画风完全是另一个模样


但特效的制作一般需要花费巨大的心血和财力,所以特效做的不好的话会被戏称「五毛特效」。而随着机器学习的发展,以及 VR, AR 技术的成熟,视觉特效这项工作已经在人工智能的帮助下,开启了新篇章。



特效的 AI 核武器之一:工业光魔


参与《复联 4 》制作的 12 家特效公司之一,工业光魔 (ILM,Industrial Light and Magic ),凭《星球大战》开创了特效新时代,一举成为电影特技的「领头羊」。


迄今为止,工业光魔已经为多达 300 部的影片制作特效,并获得过 15 次奥斯卡最佳视觉效果奖。《加勒比海盗》、《变形金刚》等电影特效都是工业光魔参与制作。


在《复联 3 》中,瓦坎达之战是由工业光魔参与制作的,包括灭霸飞船、瓦坎达上的所有战斗、反浩克装甲战斗等片段,共有近 400 位视效艺术家完成了 600 个特效镜头。


640?wx_fmt=gif

瓦坎达之战中的特效


如今,工业光魔正致力于使用人工智能对光线追踪产生的图像进行去噪。这将减少 CPU 的负担并大幅度地节省时间。


公司负责人还介绍说,「我们还在研究以半自动方式识别和替换人脸的技术,这将会是一次巨大的飞跃。」他所提到的换脸技术,便是类似于前段时间很火的 deepfake 技术。


640?wx_fmt=jpeg

工业光魔制作的绿巨人特效


利用这种技术,工业光魔团队可以将一位演员的样子映射到表演者脸上,并且制作效率大大提高。


工业光魔 CTO Rob Bredow 在一次演讲中表示,在电影中用一个 deepfake 算法的话,实现的效果质量还不够高。但是他们已经确定了什么是限制所在。不久后,他们会将类似 deepfake 但是质量更高的技术用在电影中。



特效 AI 武器之二:数字王国


在《复联 3 》里,灭了一半宇宙的「大紫薯」灭霸,就是著名的特效公司数字王国( Digital Domain ) 利用了机器学习等技术打造而来。


曾有媒体报道,灭霸的外部形象为这个人物注入了灵魂。有没有一种感觉,看到灭霸的样子,就能感受到他是个狠人。


640?wx_fmt=gif

数字王国的一位工作人员说,如果你的特效软件里没有用机器学习,那你就会做错


数字王国通过全新技术捕捉了演员 Brolin 的面部表演,并通过机器学习的技术,将他的表演转化为极具存在感的主角——灭霸。


数字王国使用 Masquerade 定制机器学习软件,通过两个垂直方向的高清摄像头捕获面部数据,细致追踪面部的 100 到 150 个跟踪点。


之后,通过计算机视觉的技术,训练和调试机器学习模型,自动将得到的脸部渲染映射到灭霸这个角色上,最终得到自然的面部视觉效果。


640?wx_fmt=jpeg

灭霸扮演者 Brolin 被「特效」后的对比


通过他们的努力,我们看到了这个偏执,凶狠,硬气,而又带点柔情的大反派。如果没有这些技术,也许灭霸的形象就不会这么丰满,也不是那个为了看日落而实行「人口控制」的狠角了。



特效的 AI 核武器之三:全面降维打击


借助于 AI 技术,视觉特效将不再需要大量斥资,就能得到更好的视觉体验。


同时利用到云计算,高性能的 GPU 等硬件,以往需要两个小时渲染的帧,可能只需要两秒钟就能完成。


得益于这些技术,行业内的设计师、艺术家能够节约更多时间去创作更多有趣的东西。


如此一来,只要你有一个较小的工作室,甚至是独立的艺术家,利用技术就能获得蜘蛛侠或者 X 战警电影中看到的效果。


640?wx_fmt=gif

真实拍摄和制作后的镜头对比


现在机器学习已经被用于在基于物理的动画和媒体艺术中,创造出有趣的效果,但是随着计算变得更加高效和新颖的方法,如深度强化学习技术,将会创建出更具可扩展性的模型。


如果这项技术成为主流,工作室电影和独立电影的视觉特效成本将会大大降低,对于热爱电影的人士,无异于又一个福音 。



复联 4 :惊喜远不止特效


相比于《复联 3 》最终收获了奥斯卡最佳视觉的多项提名,《复联 4 》不知道又会带来什么样的视觉盛宴。


根据已经公布的 12 家参与制作特效公司名单阵容,加之整部电影中超过 3000 个特效镜头。可想而知,《复联 4 》绝对是顶级的制作水准。


而且漫威对自己这个系列的收官之作,想必也是不会掉以轻心,毕竟那么优秀的前作 3 ,似乎都是在收着,为了 4 做铺垫。


640?wx_fmt=gif


所以雷神会不会用毁天灭地的大锤爆发雷霆之力,火箭浣熊怎么继承格鲁特成为搞笑担当,以及灭霸和联盟之间的战争能够壮观到什么程度,也许只有亲自去影院,为信仰充值一下,才能知晓结果了。


祝愿每一个要去看电影的小可爱,都没有在观影前被强行剧透,然后在影院里看得尽兴!



* 本文转载自超神经HyperAI,转载请联系该公众号获得授权

640?wx_fmt=png
640?wx_fmt=gif


今日学习推荐


机器学习集训营第八期

火热报名中


2019年5月6日开课


前140人特惠价:15199 


报名加送18VIP[包2018全年在线课程和全年GPU]


且两人及两人以上组团还能各减500元

有意的亲们抓紧时间喽


咨询/报名/组团可添加微信客服

julyedukefu_02


扫描下方二维码

免费试听


640?wx_fmt=png

长按识别二维码


640?wx_fmt=gif


640?wx_fmt=gif

一文览尽人工智能波澜壮阔70年

面试常问的经典排序算法全攻略

0元快速入门Python数据分析

如何理解模型的过拟合与欠拟合,以及如何解决?

哪些机器学习算法不需要做归一化处理?

一文详解:什么是B树?

34个最优秀好用的Python开源框架

Python打牢基础,从19个语法开始!


扫描下方二维码  关注:七月在线实验室 


后台回复:100   免费领取【机器学习面试100题】

后台回复:干货 免费领取全体系人工智能学习资料

后台回复: 领资料 【NLP工程师必备干货资料】

▼更多精彩推荐,请关注我们▼ 640?wx_fmt=png 640?wx_fmt=jpeg 640?wx_fmt=gif “阅读原文”我们一起进步 640?wx_fmt=png在看点一下
1、资源项目源码均已通过严格测试验证,保证能够正常运行; 2、项目问题、技术讨论,可以给博主私信或留言,博主看到后会第一时间与您进行沟通; 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用,尤其对于人工智能、计算机科学与技术等相关专业,更为适合; 4、下载使用后,可先查看README.md或论文文件(如有),本项目仅用作交流学习参考,请切勿用于商业用途。 5、资源来自互联网采集,如有侵权,私聊博主删除。 6、可私信博主看论文后选择购买源代码。 1、资源项目源码均已通过严格测试验证,保证能够正常运行; 2、项目问题、技术讨论,可以给博主私信或留言,博主看到后会第一时间与您进行沟通; 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用,尤其对于人工智能、计算机科学与技术等相关专业,更为适合; 4、下载使用后,可先查看README.md或论文文件(如有),本项目仅用作交流学习参考,请切勿用于商业用途。 5、资源来自互联网采集,如有侵权,私聊博主删除。 6、可私信博主看论文后选择购买源代码。 1、资源项目源码均已通过严格测试验证,保证能够正常运行; 2、项目问题、技术讨论,可以给博主私信或留言,博主看到后会第一时间与您进行沟通; 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用,尤其对于人工智能、计算机科学与技术等相关专业,更为适合; 4、下载使用后,可先查看README.md或论文文件(如有),本项目仅用作交流学习参考,请切勿用于商业用途。 5、资源来自互联网采集,如有侵权,私聊博主删除。 6、可私信博主看论文后选择购买源代码。
应用背景为变电站电力巡检,基于YOLO v4算法模型对常见电力巡检目标进行检测,并充分利用Ascend310提供的DVPP等硬件支持能力来完成流媒体的传输、处理等任务,并对系统性能做出一定的优化。.zip深度学习是机器学习的一个子领域,它基于人工神经网络的研究,特别是利用多层次的神经网络来进行学习和模式识别。深度学习模型能够学习数据的高层次特征,这些特征对于图像和语音识别、自然语言处理、医学图像分析等应用至关重要。以下是深度学习的一些关键概念和组成部分: 1. **神经网络(Neural Networks)**:深度学习的基础是人工神经网络,它是由多个层组成的网络结构,包括输入层、隐藏层和输出层。每个层由多个神经元组成,神经元之间通过权重连接。 2. **前馈神经网络(Feedforward Neural Networks)**:这是最常见的神经网络类型,信息从输入层流向隐藏层,最终到达输出层。 3. **卷积神经网络(Convolutional Neural Networks, CNNs)**:这种网络特别适合处理具有网格结构的数据,如图像。它们使用卷积层来提取图像的特征。 4. **循环神经网络(Recurrent Neural Networks, RNNs)**:这种网络能够处理序列数据,如时间序列或自然语言,因为它们具有记忆功能,能够捕捉数据中的时间依赖性。 5. **长短期记忆网络(Long Short-Term Memory, LSTM)**:LSTM 是一种特殊的 RNN,它能够学习长期依赖关系,非常适合复杂的序列预测任务。 6. **生成对抗网络(Generative Adversarial Networks, GANs)**:由两个网络组成,一个生成器和一个判别器,它们相互竞争,生成器生成数据,判别器评估数据的真实性。 7. **深度学习框架**:如 TensorFlow、Keras、PyTorch 等,这些框架提供了构建、训练和部署深度学习模型的工具和库。 8. **激活函数(Activation Functions)**:如 ReLU、Sigmoid、Tanh 等,它们在神经网络中用于添加非线性,使得网络能够学习复杂的函数。 9. **损失函数(Loss Functions)**:用于评估模型的预测与真实值之间的差异,常见的损失函数包括均方误差(MSE)、交叉熵(Cross-Entropy)等。 10. **优化算法(Optimization Algorithms)**:如梯度下降(Gradient Descent)、随机梯度下降(SGD)、Adam 等,用于更新网络权重,以最小化损失函数。 11. **正则化(Regularization)**:技术如 Dropout、L1/L2 正则化等,用于防止模型过拟合。 12. **迁移学习(Transfer Learning)**:利用在一个任务上训练好的模型来提高另一个相关任务的性能。 深度学习在许多领域都取得了显著的成就,但它也面临着一些挑战,如对大量数据的依赖、模型的解释性差、计算资源消耗大等。研究人员正在不断探索新的方法来解决这些问题。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值