《黑神话：悟空》横空出世：人工智能加速下的视觉算法神话

存内计算开发者社区

已于 2024-09-05 14:16:10 修改

阅读量634

点赞数 7

分类专栏：多模态大模型存内计算应用文章标签：人工智能 gpu算力 cnn 机器学习神经网络深度学习 stable diffusion

于 2024-08-27 14:12:16 首次发布

本文链接：https://blog.csdn.net/m0_58966968/article/details/141601659

版权

多模态大模型同时被 2 个专栏收录

15 篇文章 3 订阅

订阅专栏

存内计算应用

10 篇文章 0 订阅

订阅专栏

“直面天命”、“棒打虎先锋”、“猿神，启动”......在过去的一周里，从朋友圈到微博热搜，从咖啡联名到陕西文旅，几乎已经没有人，可以对《黑神话：悟空》这一国产3A里程碑之作视而不见。8月20日上午10时，《黑神话：悟空》全球解锁，当日，这款游戏Steam在线人数突破200万。8月21日晚，其Steam同时在线人数再创新高，达到了235.8万人。8月22日，《黑神话：悟空》在Steam热玩榜和热销榜均位列第一[1]。8月23日晚，这款游戏的销量已经突破了惊人的1000万套。

图1 《黑神话：悟空》销量及在线人数截图[1]

踏上取经路，比抵达灵山更重要

“踏上取经路，比抵达灵山更重要。”《黑神话：悟空》主创、游戏科学创始人冯骥说道。2014年，冯骥创立自己的游戏工作室——游戏科学。在这之前，冯骥已在某游戏公司任职策划多年，并成功打造了《斗战神》这一经典网游，只可惜在资方的各种压力下，《斗战神》逐渐向圈钱网游靠拢，无奈之下，冯骥和游戏项目组几乎集体辞职，以游戏科学为起点，朝着做出一款“属于东方的单机游戏”这一目标继续努力。2018年，《黑神话：悟空》正式立项启动。

图2 《黑神话：悟空》13分钟实机预告

2020年8月20日，《黑神话：悟空》的第一条13分钟实机预告发布，一举引爆国内外游戏圈，截至今天播放量已突破5800万。2024年8月20日，《黑神话：悟空》正式上线，以中国神话故事为背景，融入陕北说书等非遗文化，对山西玉皇庙、重庆大足石刻、浙江时思寺等全国多处名胜古迹进行实景扫描……这些带有浓烈中国文化特色的尝试，让这款产品承载了超乎预想的关注。《黑神话：悟空》出色的画面品质、独特的打斗设计、融合国风的视觉体验，也让这款产品能够承载起全球玩家的关注。

图3 《黑神话：悟空》实机体验画面截图

《黑神话：悟空》给游戏玩家们带来了更出色的画面品质、动作设计，也带来了对于玩家硬件的“九九八十一难”，“《黑神话：悟空》锁60帧”成了游戏圈、装机圈对于PC硬件的衡量标准。更高的芯片算力、更低的功耗、更高效的视觉处理算法可以带来游戏画质、体验的上升，也为芯片设计、视觉算法等领域提出了新的要求。

显卡技术带来的视觉神话

应用于黑神话游戏的显卡技术可以分为两类，一类是增强画面效果的图像增强技术，但会增加显卡负担，如光线追踪；一类是缓解显卡压力的AI技术，如插帧、超分辨率，根据显卡制造商的不同，代表性的技术有英伟达的DLSS 3、AMD的FSR 3.0、英特尔的XeSS、苹果的MetalFX，这些技术往往同时包括超分辨率和插帧。

（1）光线追踪技术

光线追踪可以计算出更真实的全局光影效果。传统的光照技术是光栅化，即将矢量图（使用数学公式描述，放大无马赛克）转换为位图（使用像素描述，放大有马赛克）的技术。现代游戏使用的光栅化技术，是将数学描述的众多三角形组成的游戏画面根据摄像机位置和视角计算出在显示区域内覆盖的像素，并根据光源材质判断这些像素的颜色。其优势是计算量不大、计算量差别不大，适合并行计算。但因为只计算画面内的光线，所以当转移视角时，新出现的画面可能会有奇怪的问题。光线追踪即发射虚拟光线，根据光线与场景的物体交互从而获得光线信息，优点是更容易实现全局光照的效果，即更容易处理出光线经过多次反射的效果，缺点是需要更强的性能和更大的显存[2]。如下图4所示，开启光线追踪后，水面正确显示了火焰的倒影、水面颜色更深。

图4 英伟达官网对黑神话：悟空游戏实机画面的演示[3]

（2）超分与插帧技术

超分辨率即游戏本身以低分辨率（如540p）渲染画面，通过GPU生成更高分辨率（如1080p、1440p）的图像。不同于外置芯片对画面进行超分辨率得到的画面，显卡级的超分辨率可以获取到游戏生成该画面时使用的一系列数据，进行更准确的插帧，如DLSS帧生成的卷积自动编码器根据当前和之前的游戏帧由Ada Lovelace架构下的光流加速器生成的光流场、运动矢量和深度等游戏内部数据进行超分辨率操作。光流场会抓取像素从第1帧移动到第2帧的方向和速度，以及粒子、反射、阴影和照明等像素级信息[4,5]。而外置芯片无法获取到游戏内的数据，其插帧功能仅会根据前后画面帧进行补充。但由于显卡本身不是为了高能效比而设计的，自带“力大砖飞”的意味，落实到消费级显卡、尤其是笔记本显卡的体验上，DLSS的表现不尽如人意。比如笔者的笔记本使用的显卡是140w性能释放的RTX 4060 Laptop，设置游戏分辨率为2560×1600的高画质下，开启DLSS质量档（中等挡位）及帧生成（即插帧功能）时，虽然画面可以达到60帧的水平，但是笔记本噪音实在过于强烈了。

图5 英伟达DLSS技术示意图[6]

存内技术支持，超越显卡

综上所示，《黑神话：悟空》应用了光线追踪技术、超分辨率、插帧技术等新兴技术，给玩家带来了更好的游戏体验，但是也对电脑显卡配置等提出了更高的要求。在这种情况下，使用高能效比的外置芯片为画面提供HDR增强、超分辨率以获得更真实光线的画面、更清晰的图像同时降低计算资源的方法也不失为一种优化方向。此外，卷积计算在这类图像增强计算中占据了大量的计算资源，也是当前人工智能加速芯片所主要专注的计算类型，因此加速卷积计算也可以进一步降低游戏图像增强所带来的资源消耗。

近年来受到广泛关注的存内计算技术可以作为优化方案的代表。存内计算技术因计算时可直接获取权重数据，不需数据搬运即可实现了高吞吐量和能效比，配备大缓存的存内计算核心也具备对复杂的画面实现精细的处理的能力。若游戏厂商能提供硬件数据支持，则此类芯片将具备与显卡光追、超分辨率功能互补、甚至超越显卡的潜力。这项技术同样可适用于AR、VR场景中，处理器生成低分辨率的画面，超分辨率功能根据视角针对性的增强视角内画面的分辨率。

知存科技的WTM-8系列芯片作为新一代存内视觉计算芯片为以上问题给出了一个满意的答卷。知存WTM-8芯片采用第二代3D存内计算架构，支持AI超分、插帧、HDR、识别与检测，能够突破传统CV/ISP受移动终端功耗限制无法支持1080P的瓶颈，将分辨率提升至4K、帧率提升至120FPS，同时支持AI运动补偿、宽动态KDR，实现端侧实时AI光线追踪，功耗低至200mW。