从数字孪生到克隆地球 | 虚幻引擎专访51WORLD

以下文章来源于虚幻引擎 ，作者Dawei

推荐语：

3月1日，我们最新的数字地球平台51Earth正式上线，同期，51Earth预热大片也在B站亮相，短短1周播放量达50万，1个月近100万，引发了行业内外的广泛关注，其中，也引起了虚幻引擎的特别关注。

虚幻引擎特别专访多位51Earth研发专家，详细报道了平台的诞生始末并逐一拆解其中技术原理、研发挑战与未来规划，以下为专访原文，精彩不容错过！

近期，一段名为《51earth.com 正式上线》的视频在B站上引起了不小的轰动，短短几周内就累积了近100万的播放量，成为热门搜索的焦点。

比较有趣的是，此视频内容并未涉及任何新闻热点，既没有扣人心弦的剧情，也没有鲜活生动的人物。然而，就是这样一段简单纯粹的关于“地球”的高精度风光片和技术演示，竟引来无数网友粉丝的围观追捧。

51earth.com 正式上线

该视频的发布者是51WORLD，熟悉数字孪生行业的朋友对于51WORLD这家公司应该并不陌生，甚至可以说多年来他们的成长几乎与UE在数字孪生行业的发展保持同步，从10年前最早的VR看房，到后来的建筑数字孪生，智慧工厂等，51WORLD多年来一直在寻求自身的技术创新和发展。

回顾过往，笔者依然对几年前的那个“克隆上海”的UE4项目印象深刻，记得当时他们提出了“地球克隆计划”的口号，有些人或许觉得有点浮夸，甚至不太理解其中的意义。然而，随着51Earth的发布，让更多的人看到了51WORLD在用实实在在的技术一步步地兑现当初的承诺，也对51WORLD和虚幻引擎有了新的认识。

最近刚好因为工作需要，笔者来到了51WORLD上海公司的总部，带大家从数字孪生到克隆地球，一起认识一下51WORLD。

1. 51WORLD的涵义是什么？为什么会以此来命名公司？

地球表面的总面积是5.1亿平方公里。我们致力于克隆地球，通过创造一个真实，完整且恒久的数字孪生地球，让真实世界变得更高效，安全和美好。我们以此为目标，所以叫51WORLD。

2. 能否概括介绍下虚幻引擎在51WORLD个业务板块中的总体应用情况？

目前51WORLD旗下共有四大业务品牌：

• 51Earth：专注于地球克隆技术开发与城市级通用资产制作。

• 51Aes：数字孪生领域。（包括城市、园区、地产、工业、能源、水务等）

• 51Sim：交通与智能驾驶仿真领域。

• 51Meet：元宇宙与沉浸式体验领域。

虚幻引擎作为核心实时渲染能力，通过云渲染方式与前端技术进行结合来服务以上四大业务板块。

3. 51WORLD的数字孪生和模拟仿真业务涉及领域广泛，虚幻引擎被应用到业务中最早可以追溯到什么时候？起初为什么引用引擎作项目？

在2015年的时候，公司成立了制作VR楼宇展示的团队，当时就开始使用虚幻引擎4制作项目。

我们主要看中的是UE4实时渲染效果和工具的便利性所带来的制作效率，后来随着公司业务发展，虚幻引擎的应用也产生了较好的延续性，我们不断在引擎的基础上开发自己的套件并持续累积，从UE4.15到4.26 ，再到现在的UE5。项目涵盖了从VR应用、VR游戏、数字孪生应用、交通与智能驾驶、元宇宙应用、再到数字地球。

4. 数字孪生到克隆地球的跨度非常巨大，从UE4时期到后来的UE5，有哪些技术在51Earth的项目中起到较大作用？

• 从UE4到 UE5，从float升级到double，计算范围有了很大提升，可以支持行星级。

• UE5的Nanite技术，可以大大降低显存消耗，支持更高精度、更大规模的模型渲染；51Earth亮点之一的实时生成技术依托于模块化生成，模块本身也是基于Nanite，使得实时生成可以表现更加复杂、精确的模型。

• UE5的VSM相对于传统的CSM，可以表现距离更长，精度更高的投影，对于51Earth的渲染品质有很大的帮助。

5. 如果把51WORLD的成长分为几个阶段，51Earth现在处于哪个阶段？

51WORLD的愿景是创造一个真实、完整且恒久的数字孪生世界，大致上可以分五个阶段来实现：

• W1静态世界（2015-2017）

• W2动态世界（2017-2020）

• W3半模拟世界（2020-2023）

• W4全模拟世界（2023-2026）

• W5数字孪生世界（2026-2030）

51Earth目前处于W4阶段。

6. 51Earth到底是一款怎样的产品？

我们近期发布了51Earth的demo，大家可以从地球到建筑流畅地浏览整个地球。

51Earth底层依托于多年自动生成与数字孪生的经验还原了地形、建筑、道路、水域、植被等要素。客户端下载为5GB左右，2060级别以上显卡PC可以流畅运行，用户可以通过搜索城市，地区或地标建筑等随意跳转至任意地区进行实时3D游览。

通过这个demo我们验证了克隆地球的基本技术路线，未来希望在城市级高质量数字资产与基于语义的实时生成技术等领域合作。

产品特性：

• 基于语义数据生成的，通过矢量与标签等语义描述可以持续积累，更新。相对于模型化数据更有优势，也不受模型工艺的迭代限制。

• 它是实时生成的，只要数据源变化时候结果会立马跟着变化，不需要离线生成过程，在容量大小与及时性上有很大优势。

• 实时编辑能力，不仅是在编辑器里可以被编辑，运行态依然可以编辑，也可以通过其他数据编辑工具修改原数据达到场景变化能力。

• 所有数据都是有金字塔结构，保证在任意视角下都流畅。

• 基于网络流式加载数据，客户端较小。

7. 大概是什么时候有了要开发51Earth的想法和计划？

2019年末第三届地球克隆计划大会上，我们首次公开展示了地球到上海全域的实时demo，当时可以用12小时生成一座数千平方公里的具有较高精度的城市，后续一直在优化生成效果、运行效率、易用性、扩展性等内容，帮助我们在数字孪生领域完成了从园区级到城市级的跨越。

[聚焦]克隆上海 | BIM

随着硬件的进步，虚幻的发展，生成技术的积累，渐渐觉得克隆整个地球可以被完成。

在2023年10月正式开始了51Earth这个计划，摒弃了原来笨重的离线生成技术转向了实时生成，经过了5个月的努力证实了通过实时生成是有机会完成克隆地球的。

8. 听到Clone地球这个idea第一感觉是不可思议，地球之大难以想象，解决方案是什么?

地球表面有5.1亿平方公里。

我们至少要面临两个艰巨的任务和挑战：生成时间太长、数据体量太大。

生成时间长的问题：

我们在第3-6届地球克隆计划大会现场展示的重磅DEMO都是采用离线生成技术，实现了地球级到一个城市群的呈现。经估算，使用离线生成技术，完成一次全地球生成，需几百年。但实时生成技术，就能实现及时生成，即鼠标拖到哪里就生成到哪里。

离线生成一个tile就需几分钟时间，而实时生成技术的要求为毫秒级，对速度的要求很苛刻，好在之前有各种技术探索的积累，我们成功攻克了生成速度与效果之间的平衡。

数据体量太大：

基于语义的实时生成只需要存储原始语义数据，而不需要存储模型数据，存储量少了好几个量级。即使这样数据量还是没法在本地客户端完整运行。

我们观察到其实每个用户访问的数据是地球的很小的一部分。而在线流式加载数据在地理信息行业来说相当普及，所以我们决定使用通过在线数据访问的形式，尽可能减小客户端大小。

再结合我们一直以来积累的，大世界调度等技术积累，完成了这个地球克隆的demo。

9. 大地形是如何生成的，过程中有遇到哪些挑战？

• 超大地形渲染问题

大地形渲染方面使用了比较普遍的四叉树金字塔调度系统，保障在任意视距下视觉精度保持一致，保障CPU与GPU开销平稳。这块内容可以参考UE的Landscape相关代码，但UE的Landscape与大世界系统还不能满足地球级大小，所以需要自己去实现scene proxy。

• 超大地形数据加载问题

数据方面也会做好金字塔，跟调度系统一样读取对应块的数据，不用的数据会及时释放，确保内存与显存内不会持续积累，并保持在较低的开销。

• 边缘衔接与自然过渡

整个LOD需要还需要考虑边缘的衔接与自然过渡问题。需要在不同级别的金字塔之间还需要把地形边缘缝合起来，避免出现漏缝问题。

10. 人文建筑和景观生成方式是什么？

地表建筑方面是采用人工建模，再通过坐标信息描述让运行时能把地表建筑展现在对的位置。未来地表建筑会采用更加通用的适合流式加载的模型格式，比如gltf、usd等格式，方便创作者可以上传自己的模型来共同创建整个地球。

11. Earth里面自然生态的系统建模是如何实现的？

自然生态方便需要用到各种专业机构的用地分类、生态分类、植被密度图等信息。

保证我们种出来的树木在不同的区域会适配不同的种类，密度等信息。

（GlobeLand30）

（全球生态分类）

12. 光照和自然环境是如何实现的？

我们利用了UE5原生强大的灯光、大气系统等，以及引擎提供的Lumen、AO、Path Tracer等feature，可以实时渲染出非常真实自然的视觉效果（截图城市为利雅得，上图为UE5，下图为真实照片）。

13. Earth在本地运行的硬件需求是怎样的？如何对其进行优化的？

目前客户端只支持是directx12(sm6)需要20系列级以上显卡。

整体优化经验，动静结合的思路：

动态调度：

• 作为行星级别的应用，动态调度必不可少，需要计算SSD到内存到显存的带宽，合理分割数据和渲染资源。

• 尽量使用GPU并发特性，像整个地形系统都是GPU Driven。

• 管理好Cpu cache与GPU cache，做好加载与回收的平衡，在持续浏览中不要出现无用的内存与显存的占用。

静态渲染：

• 控制单帧画面整体三角面以及drawcall数量。

• 优化Nanite模型的建模方式，控制Nanite Cluster的上限。

• 控制单帧画面显存容量，与三角面、贴图等等美术资源相关。

14. 从51WORLD的角度来看，AIGC和UE实时引擎未来如何分工应用？

AI已经展现出了多视角长时长下一致性较高的图像，场景的真实度和细节也很好。如果从模拟仿真这类场景的角度看，生成式视频模型所做的事情和游戏引擎没有本质区别，只是一个是更可控的显式的，一个是数据驱动的隐式的。

游戏引擎如果要达到较强的真实感门槛较高，需要建模或扫描大量的高质量资产，优点是可控制性和可编辑性较强，世界完全受控。AI的可编辑性以及可控性从目前的展示来看还不确认，挑战还是比较大。

目前，合成数据主要分为三个路线——物理仿真与图形渲染路线、基于神经辐射场（NeRF、3DGaussion等）的场景重建路线以及基于世界模型的生成路线。

AI基于世界模型的生成路线还处于发展的早期阶段，与视频创作领域不同，模拟仿真大场景落地确定性要求比较高，需要呈现出一致性和物理规律，如何可控的生成更多有价值的corner case还有待深入探讨，但后续发展空间是巨大的。

15. Earth目前的状况如何，还有哪些计划？

目前我们正在全力做Earth的产品化开发，已有两款产品TWE（The Whole Earth）与UGA（Urban General Asset）。

TWE专注于世界生成技术，开发者可以通过语义数据实时生成动态的地球，期待与开发者进行深度技术合作，共同完成用户自己的地球。

UGA是面向应用开发者，提供城市级的通用资产，可在引擎中流畅加载超大面积的高精度场景，并支持场景的自由编辑。我们将在2025年9月前上线全球至少100个城市。帮助数字孪生、游戏影视、AI训练等领域开发者节省成本，提高效率。

16. 未来Earth在产品层面如何落地？

我们希望未来的51Earth是一个可以把城市创作者与应用开发者的链接的产品。城市创作者可以在51Earth当中像《都市天际线》一样建造城市、共同参与到地球克隆愿景。

应用开发者，可以基于城市数据+开发套件可以开发出丰富多彩的游戏、应用等内容。

17. 感谢接受采访，从哪些渠道可以了解51WORLD和51Earth的最新动态和产品更新？

可关注51WORLD及51Earth官方网站：

https://51world.com.cn/

https://51earth.com/

也可关注51WORLD微信公众号，回复关键词【UE开发者】，加入交流群，技术答疑、产品试用、最新资讯等你来！