贾浩楠 晓查 发自 凹非寺
量子位 报道 | 公众号 QbitAI
3D游戏人物建模,虚幻引擎可以算标杆了吧?
要是我告诉你,只要会自拍,就能用虚幻引擎开发出和3A游戏一样逼真的3D角色呢?
表情、毛发,甚至是脸上的皱纹,都栩栩如生。
没错,不需要学游戏开发,也不用苦练美术功底,随时随地打开手机,虚幻引擎随便用!
Epic为iPhone推出了一个App,利用苹果的增强显示工具ARKit和前置深感摄像头(也就是玩Animoji用的那个),可以造出非常逼真的虚拟人。
这款工具到底有多强大多方便?油管上有网友直接在demo下感叹:
正勤学苦练想当3D建模师呢,虚幻引擎直接把这个职业消灭了…..
iPhone开发3A大作第一步:打开前置摄像头
Epic开发的这套3D人物实时建模工具,名叫MetaHuman,超级人类。
作为一款游戏开发工具,他最颠覆的地方,在于一改以往CG制作中,复杂且昂贵的动作、表情捕捉技术。
比如,“忍者理论”使用虚幻引擎开发《地狱之刃》时,女主的动作、面部表情,都是真人演员在佩戴特征采集装置的情况下,一帧接一帧表演出来的:
而MetaHuman利用机器学习,可以直接识别演员面部表情细节,实时反应在已经完成渲染的人物模型上:
成品效果有多好,不妨来看一下:
因为太过逼真,并且是实时投射,这个应用甚至引起了不少人的担心
这项工具意味着,任何人,在任何时间、地点,都能无障碍变成其他人。
为了安全,有必要给作品加水印标签,或者开发识别机制。
这还仅仅针对手机应用端的强大功能。
虚幻引擎4.25中集成了MetaHuman工具,App内的数据,可以直接导入PC开发平台。
在平台上,虚幻引擎4.25中集成了MetaHuman工具,App内的数据,可以直接导入PC开发平台。
除了能实现利用视频材料捕捉表情,还集成了人物模型开发工具,毛发、年龄、肤色等等细节,能实时调整:
对于开发者来说,用iPhone开发3A大作,方便又省钱,还大大降低了游戏制作门槛。
如果你不是开发者,Live Link Face中已经建好的任务模型,也能让你玩个痛快。
从专业设备到iPhone
几年前,面部捕捉还是一项门槛很高的技术。
虚幻引擎全新的面部捕捉方法让《地狱之刃》的开发过程改头换面。
2016年,“忍者理论”为了让女主角更逼真,请来了真人进行面部捕捉。但那时候还要用到专业拍摄设备,角色脸上的关键点也要贴上标记。
到了2019年发布《地狱之刃2》预告片时,游戏主角的面部表情已经变得更加自然了,动作幅度也更大。
虽然《地狱之刃2》还没有开发完成,但Epic透露可以通过“元人类创造者”(MetaHuman Creator)用iPhone录制和生成游戏角色表情。
其中的法宝就是iPhone的前置深感摄像头。
游戏角色的创作甚至可以像直播一样实时进行。
实际上,在2018年已经有公司在用手机开发游戏了,不过他们使用的是Unity引擎。
当时,来自芬兰的游戏工作室Next Games使用iPhone X的前置深感摄像头来记录面部动作,再一键传回电脑。
Epic则在去年实现了实时的面部捕捉:这边iPhone录制人脸,那边电脑上实时输出角色动作。
这款用在iPhone上的面部捕捉App去年已悄悄上架,只要注册成为一名虚幻引擎的开发者,经过一番简单的设置,你也可以创造游戏角色。
△ Epic推出的面部捕捉App
首先在电脑端创建一个虚拟人的3D模型,然后连上局域网内的iPhone即可。
整个虚拟视频的生成过程都是实时的。面部捕捉过程会生成一个mov视频文件,和一个csv原始数据文件。
如果直接把输出的3D数据进行复原,那么在iPhone的眼中,你的脸会是这样的。
△ iPhone深感摄像头数据(来源:Twitter @braddwyer)
除了人脸外,虚幻引擎和ARKit还能碰撞出更高级的玩法。
让物体在空中漂浮,光影效果让人难辨真假:
或者把二次元妹子放在桌上。
看到这些,你是不是也想去做游戏开发了?
参考链接:
[1] https://twitter.com/pvalexander/status/1364422983926771719
[2] https://www.theverge.com/2020/7/9/21318440/unreal-engine-facial-capture-ios-app-arkit-truedepth-front-facing-camera-animation
[3] https://docs.unrealengine.com/en-US/AnimatingObjects/SkeletalMeshAnimation/FacialRecordingiPhone/index.html
[4] https://docs.unrealengine.com/en-US/AnimatingObjects/SkeletalMeshAnimation/FacialRecordingiPhone/index.html
— 完 —
本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容,未经账号授权,禁止随意转载。
点这里????关注我,记得标星,么么哒~
加入AI社群,拓展你的AI行业人脉
量子位「AI社群」招募中!欢迎AI从业者、关注AI行业的小伙伴们扫码加入,与50000+名好友共同关注人工智能行业发展&技术进展:
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见~