《黑神话：悟空》里惊艳的古建场景是如何生成的？

点击上方“小白学视觉”，选择加"星标"或“置顶”

重磅干货，第一时间送达

--文末赠书--

自《黑神话：悟空》面世以来，不少小伙伴们被其中的3D场景所惊艳！

打造如此逼真、具有视觉冲击力的场景，绝对离不开三维视觉技术的加持~~

在人工智能时代，NeRF（Neural Radiance Fields，神经辐射场）与3DGS（3D Gaussian Splatting，3D高斯溅射）技术成为完成三维重建、新视角合成、3D生成等任务不可或缺的重要工具。

这两种技术不仅在学术界引起了广泛关注，更在多个行业中展现出巨大的应用潜力，甚至面试技术岗位的第一道面试题就是NeRF与3DGS！

那么，NeRF与3DGS到底是什么技术，应用场景有哪些？

何谓NeRF

NeRF英文全称为Neural Radiance Field，意为神经辐射场，是一种可微的、自动生成的， 连续的三维隐式表达方法，最初用于解决新视角生成（Novel View Synthesis，NVS）这个计算视觉里的基础问题。

从2020年其框架被提出到2024年初，仅仅三年半，NeRF已经成为一种重要的高质量三维表达方法，被不断拓展到众多应用场景中。

Neural Radiance Field三个词准确地诠释了整个方法的核心。

Neural指通过神经网络模型实现三维表达，Radiance指神经网络描述了场景空间中每个点在每个方向发射的辐射情况，Field指这种表达是一个连续的五维函数。

NeRF以多视角图像为输入，使用神经网络技术，自动将场景中的几何与纹理信息训练成连续的三维神经辐射场模型。

在渲染时，通过任意角度查询神经网络，使用体渲染生成高真实感的新视角图像。

NeRF的三维渲染效果如图下图所示。

NeRF的应用方向

第一类是用在3D资产扫描生成方向。这一类的领军公司是Luma AI，它们可能是全行业最早把NeRF推向商业化，并发展成为独角兽的公司。目前，相关应用有Luma AI，用来做Object-centric的扫描建模和FlyThrough，用来做场景级别的建模。

第二类是大场景应用。影响力最大的就是Google在Google Map里demo过的基于block-nerf的3D真实感街景产品，当时发布会的demo效果挺棒的。

第三类是在自动驾驶里的应用。从Waabi、Argo AI到国内的几家自动驾驶公司，包括长安、理想等都在做这块，以及基于NeRF相关技术的自动驾驶场景仿真工作，用来模拟一些真实世界里不太好测试的场景，进行闭环测试。

第四类是电商类。明确提出在使用的，是2023年Google在Google Shopping里，在美国iOS设备中，搜索鞋的产品时，会有很多鞋使用NeRF建模，并提供360度查看的功能，并在搜索结果上标“360”字样。这个项目是Jon Barron团队有支持的，Ricardo牵头的项目，2023年的时候上线，并有过发布。

基于 MobileR2L 实现的虚拟试衣功能

第五类是AIGC方向。文本生成3D应用里，国内外很多家公司在使用相关技术进行3D资产的生成，包括太极图形的Meshy，VAST的Tripo3D。Luma AI发布的第一个Genie发布版本，以及一些垂直行业里的模型生成应用。

第六类是虚拟数字人方向。大部分真实感数字人合成之前都是基于GAN的，也有不少商业公司有很好的短视频和直播数字人就是用GAN产品上线的。后来随着NeRF和3DGS技术的发展，很多公司探索NeRF替换升级的。

第七类是游戏方向。游戏里，主要是生成3D模型之后转为Mesh之后的使用。另外Luma AI在Unreal Engine里有一个插件，可以加载NeRF模型，而且在3DGS之后，在Unity、 Unreal Engine里都有插件可以用，所以可实现性是越来越好的状态。

 其他。由于NeRF天生支持可微渲染,利用NeRF模型，可以渲染出高度真实的二维图像，亦可通过二维图像应用NeRF算法生成隐式三维表达。此功能借助摄像头即可实现，成本极低，至今已在三维重建、医学图像、遥感、后期处理等众多领域得到验证并取得了优秀的成果。

3DGS是什么

3DGS，三维高斯喷溅（3DGaussian Splatting，3DGS）。

这项技术在 2023 年的 ACM Siggraph 会议上由INRIA和马克斯·普朗克研究所的研究者提出。

在接下来的几个月里，它凭借与NeRF相似的表现力、数百倍于NeRF的训练和推理速度，以及在高分辨率图像和场景中的超实时渲染等特性，迅速成为有竞争力的技术路径。

相较于NeRF，3DGS是显式的三维表达方式，其设计遵循“大道至简”的原则，用简捷的逻辑构造了三维空间。

从技术特性上来说，NeRF和3DGS一个是对表面的隐式表达，一个是对表面的显式表达，各有优缺点。无论是NeRF还是3DGS，推动其发展的都是同一批不断在三维视觉领域深耕的研究者和行业从业者。

本书一经上市，便上榜人工智能热卖榜TOP5，可见大家对三维视觉的关注度之高，也希望通过这本书和社区平台，能够解决新手入门困难和从业人员存在信息差与认知差的问 题，让优秀的技术更易于在行业中得到应用。

↑限时优惠↑

 

限时优惠，快快抢购吧！ 

互动有奖
按以下方式与小白互动，即有机会获赠图书！
活动方式：在评论区留言你的科研经历，点赞最多的留言和内容最丰富的留言将分别免费获取本书一本！
说明：留言区收到回复“恭喜中奖”者将免费获赠本图书，中奖者请在收到通知的48小时内将您的“姓名+电话+快递地址”留言至原评论下方处即可，隐私信息不会被放出，未在规定时间内回复视作自动放弃兑奖资格。
活动时间：截至9月9日中午12：00开奖。
快快拉上你的小伙伴参与进来吧~~