会议介绍
对于搞图形学的人来说，SIGGRAPH绝对是如雷贯耳。SIGGRAPH是计算机图形界（也包括图像）最顶级的会议，没有之一，是全世界的图形学者公认的最高端的会议。
SIGGRAPH全称是Special Interest Group for Computer Graphics and Interactive Techniques，译为中文即：计算机图形和交互技术特别兴趣小组。该组织由Brown大学教授Andries van Dam和IBM公司的Sam Masta发起，成立于1967年，一直致力于推广和发展计算机绘图和动画制作的软硬件技术。从1974年开始，SIGGRAPH每年都会举办一次年会，后来逐渐发展成为图形学界最权威的国际会议。
以前SIGGRAPH的论文有时候SCI检索不到，但近些年来SCI都能检索到。在SCI会议上中的论文，全文发表在ACM Transactions On Graphics(ACM TOG)上，貌似这几年的影响因子达到5.0+。
中国人在SIGGRAPH上发文章很早就有了，但是在2006年以前，基本上是在国外的大学、香港的大学，台湾的大学读书的中国人发的。自2006年以后，中国大陆的一些学校开始陆续在SIGGRAPH上发表文章，这也表示着世界上已经开始认可中国大陆的图形学水平。虽说这几年，每年中国大陆的学校都有人发SIGGRAPH，但是学校比较固定，浙大发的最多，次之就是清华，中科院，北大也有发的，至于其它的学校，基本上没看到。
值得一提的是，2008年，ACM赞助了一个新的会议，SIGGRAPH Asia，这个会议的级别也很高，是仅次于SIGGRAPH的几个会议之一，发表在这上面的文章也会入选TOG，这个会议每年在亚洲举办一次。
另一个级别较高的会议是EuroGraphics(EG)，这也是个国际性的会议，每年举办一次，在欧洲召开。欧洲方面的图形学研究也非常深入，SIGGRAPH上每年都有很多欧洲那边的大学发的文章。EuroGraphics比较注重理论，但最近几年来，也开始注重实用性和艺术性。这个会议的接受率也是20%左右。
SIGGRAPH、EuroGraphics、SIGGRAPH Asia号称是图形界三大顶级会议，实际上SIGGRAPH水平要高一些，A+级，best。EuroGraphics比SIGGRAPH Asia成立的时间久很多，水平要稍高一点点，都是A级的。
另外，还有一个会议 Symposium on Interactive 3D Graphics and Games(i3D)，这个会议级别也很高，有小SIGGRAPH之称，自然也是A级。
ACM SIGGRAPH Symposium on Interactive 3D Graphics and Games 2022 是一场高度可见的前沿会议，旨在探讨将 3D 计算机图形与人类交互相结合的技术。I3D 专注于 3D 游戏技术、交互式可视化和视觉描绘、交互式建模、用户辅助技术和应用方面的最热门研究。
图形学必上网站：Resource for Computer Graphics - Ke-Sen Huang's Home Page
重点论文总结
- 总览
整理论文方向分布，包括关键词分布/主要研究领域分布，图表分析可如下图所示。该会议无奖项设置.
| 论文方向 | 数量 |
| 实时渲染 | 4 |
| 模拟和动画 | 4 |
| 游戏和VR | 4 |
| 几何 | 3 |
| 基于图像的算法 | 4 |
| 外观和阴影 | 4 |
| 虚拟人 | 4 |
| 总计 | 27 |
- 重点论文内容介绍（按技术方向整理）
方向1：实时渲染
- Real-Time Ray-Traced Soft Shadows of Environmental Lighting by Conical Ray Culling通过锥形光线剔除实现环境照明的实时光线追踪软阴影
Yang Xu, Yuanfa Jiang, Junbo Zhang, Kang Li and Guohua Geng
摘要：
因为在动画场景中评估可见性函数具有挑战性，所以很难实时渲染环境照明的软阴影。在这项工作中，我们提出了一种通过硬件加速光线追踪和锥形光线剔除以实时帧速率渲染环境照明软阴影的方法。我们假设场景包含静态和动态对象。被动态物体遮挡的入射辐照度是通过使用光线追踪在半球上累积被遮挡的入射辐照度来获得的。提出了锥形光线剔除，以排除由表面点和动态物体的边界球定义的圆锥外的光线，显着提高了效率。从无阴影的入射辐照度中减去被动态物体遮挡的入射辐照度，得到合成的入射辐照度。提供渲染结果以证明我们提出的方法可以实现动态场景中环境照明软阴影的实时渲染。
- Soft Shadow，字面上翻译过来是软阴影，其实叫作“柔和阴影”似乎更恰当。在生活中，我们知道阴影的过渡是渐变的，而软阴影的作用就是要模拟这种阴影渐变且在阴影周边制造虚化的效果。
- Stereo-consistent screen space ambient occlusion立体一致的屏幕空间环境光遮蔽
Peiteng Shi、Markus Billeter and Elmar Eisemann
摘要：屏幕空间环境光遮蔽 (SSAO) 显示出高效率，并广泛用于实时 3D 应用程序。但是，在立体渲染中使用 SSAO 算法可能会由于左右眼捕获的屏幕空间信息的差异而导致不一致。这将影响对场景的感知，并可能成为观众不适的根源。在本文中，我们表明原始模糊估计部分和随后的过滤都是不一致的来源。我们开发了一种同时涉及两个视图的屏幕空间方法，从而产生了立体感知的原始遮蔽估计方法和立体感知的双边滤波器。结果表明，我们的方法将立体不一致性降低到与基于几何的 AO 解决方案相当的水平，同时保持了屏幕空间方法的性能优势。
AO ：是通过在场景中的点上产生一个标量值来描述由这点向各个方向出射的光线被遮挡的概率 , 这个标量值可以用来产生全局的遮挡效果 , 并为用户提供关于场景中物体之间的位置关系和物体表面的起伏情况的重要视觉信息 。
SSAO 算法将深度缓存当成场景的一个粗略的近似并用深度比较代替光线求交来计算 AO。
- Scaling Probe-Based Real-Time Dynamic Global Illumination for Production为生产缩放基于探针的实时动态全局照明
Alexander Majercik、Adam Marrs、Josef Spjut 和 Morgan McGuire
摘要：
我们为基于探针的辐照度场与可见性表示提供了几个实际扩展 [Majercik 等人。2019] [麦奎尔等人。2017] 以提高图像质量、恒定和渐近性能、内存效率和艺术家控制。我们在将之前的工作整合到 NVIDIA RTXGI SDK、Unity 和 Unreal Engine 4 游戏引擎以及多个商业游戏的专有引擎的全局照明解决方案中的过程中开发了这些扩展。这些扩展包括：直观的调整参数（“自阴影”偏差）；启发式加速全局照明的转换；重复使用辐照度数据作为递归光泽反射的预过滤辐照度；用于修剪不会影响最终图像的工作的探测状态机。
- Collimated Whole Volume Light Scattering in Homogeneous Finite Media均匀有限介质中的准直全体积光散射
Zdravko Velinov and Kenny Mitchell
摘要：当光线遇到遮蔽部分可见场景的光学厚或不透明介质时，会形成黄昏射线。实时应用程序通常通过在单个散射事件后连接光源和相机之间的路径来估计这种现象。我们提供了一组算法来解决盒形介质中单散射准直光的积分和采样问题，并展示了它们如何扩展到多散射和凸介质。首先，提出了一种在直线箱形介质中精确积分无遮挡单次散射的方法，并与比率估计器和基于矩的近似相结合。与以前的方法相比，它只需要在未遮挡区域中的单个样本来计算整个积分解，并在场景的其余部分提供更大的收敛性。第二，我们推导出了一个重要性采样方案，该方案说明了介质的整个几何形状。然后将此采样策略合并到优化的蒙特卡洛积分中。由此产生的集成方案产生了明显的降噪效果，它直接适用于房间级交互体验中的室内场景渲染。此外，与现有算法的独立采样相比，它扩展到多个光源并实现了卓越的收敛。我们针对基于光线行进和距离采样的先前方法验证我们的技术，以证明其卓越的降噪能力。由此产生的集成方案产生了明显的降噪效果，它直接适用于房间级交互体验中的室内场景渲染。此外，与现有算法的独立采样相比，它扩展到多个光源并实现了卓越的收敛。我们针对基于光线行进和距离采样的先前方法验证我们的技术，以证明其卓越的降噪能力。由此产生的集成方案产生了明显的降噪效果，它直接适用于房间级交互体验中的室内场景渲染。此外，与现有算法的独立采样相比，它扩展到多个光源并实现了卓越的收敛。我们针对基于光线行进和距离采样的先前方法验证我们的技术，以证明其卓越的降噪能力。
方向2：模拟和动画
- DCGrid：GPU 上内存受限流体模拟的自适应网格结构
Wouter Raateland、Torsten Hädrich、Jorge Alejandro Amador Herrera、Daniel Banuti、Wojciech Pałubicki、Sören Pirk、Klaus Hildebrandt 和 Dominik Michels
摘要：我们引入了动态约束网格 (DCGrid)，这是一种用于流体模拟的分层和自适应网格结构，并结合了有效管理网格适应的方案。DCGrid 旨在在 GPU 上实现并用于高性能模拟。具体来说，它允许我们有效地改变和调整整个空间域的网格分辨率，并快速评估 GPU 实现中的局部模板和单个单元格。DCGrid 的一个特殊功能是网格自适应的控制被建模为在最大可用内存约束下的优化，它解决了基于 GPU 的模拟中的内存限制。为了进一步推进 DCGrid 在高性能仿真中的使用，我们用一种有效的方案来补充 DCGrid，以近似不同分辨率的细胞上流体和静态固体之间的碰撞。我们展示了 DCGrid 对烟雾流和复杂云模拟的有效性，在这些模拟中，地形-大气相互作用需要使用不同分辨率和快速变化条件的单元。最后，我们将 DCGrid 的性能与其他自适应网格结构的性能进行了比较。
- 羽流和火山碎屑火山喷发的交互式模拟
Maud Lastic、Damien Rohmer、Guillaume Cordonnier、Claude Jaupart、Fabrice Neyret 和 Marie-Paule Cani
摘要：我们提出了一种交互式动画方法，用于火山喷发中气体和灰烬混合物的喷射。我们新颖的分层解决方案将弹射动力学的基于物理的粗粒度模拟与多分辨率细节的一致程序动画相结合。我们表明，这种分层模型可用于捕获两种主要类型的喷射，即由快速上升的气体携带灰烬组成的上升羽流柱，逐渐夹带更多空气，以及火山碎屑流下降火山斜坡沉积灰烬，最终导致沿途更小的羽流。我们通过与地球科学数据的比较来验证模型的大规模一致性，并讨论实时可视化和离线、逼真的渲染。
- 顶点混合属性压缩的置换编码
Christoph Peters、Bastian Kuth 和 Quirin Meyer
摘要：顶点属性的压缩对于在实时渲染中保持较低的带宽需求至关重要。我们提出了一种方法，该方法可以对任何给定数量的混合属性进行编码，以便以固定比特率进行蒙皮，同时保持最坏情况误差很小。我们的方法利用了混合权重的排序。有了这些知识，当权重被打乱时，不会丢失任何信息。因此，我们的置换编码将附加数据（例如关于骨骼索引）编码为权重顺序。我们还线性变换权重以确保完全覆盖可表示域。通过彻底的误差分析，我们得出了一个近乎最优的量化方案。我们的方法足够快，可以在顶点着色器中解码混合属性，也可以在运行时对它们进行编码，例如在计算着色器中。
- 通过特征变换和局部运动相位对人体运动进行实时风格建模
伊恩·梅森、塞巴斯蒂安·斯塔克和小村拓
摘要：控制角色在实时动画系统中的移动方式是一项具有挑战性的任务，具有有用的应用程序。现有的风格转移系统需要访问参考内容运动剪辑，然而，在实时系统中，未来的运动内容是未知的，并且容易随着用户输入而改变。在这项工作中，我们提出了一个风格建模系统，它使用动画合成网络根据局部运动阶段对运动内容进行建模。一个额外的风格调制网络使用特征转换来实时调制风格。为了评估我们的方法，我们创建并发布了一个新的样式建模数据集 100style，其中包含 100 种不同样式的超过 400 万帧的程式化运动数据，这对现有系统提出了许多挑战。为了模拟这些风格，我们用非接触公式扩展了局部相位计算。与其他实时风格建模方法相比，我们展示了我们的系统在风格表示方面更加健壮和高效，同时提高了运动质量。
方向3：游戏和 VR
- 渲染分辨率对虚拟现实游戏中的游戏体验、性能和模拟器疾病的影响
王嘉林、石荣凯、肖泽辉、秦雪英、梁海宁
摘要：更高分辨率是虚拟现实 (VR) 头戴式显示器 (HMD) 发展的主要方向和驱动力之一。然而，鉴于其相关的更高成本，确定更高分辨率对用户体验的好处非常重要。对于非 VR 游戏，通常认为更高的分辨率会带来更好的体验，但在 VR 游戏中尚未探索。本研究旨在调查 VR 游戏，尤其是第一人称射击 (FPS) 游戏在游戏体验、性能和模拟器晕眩 (SS) 方面的分辨率权衡。为此，我们设计了一个实验，收集流行的 VR FPS 游戏《半条命：爱丽克斯》的游戏体验、SS 和玩家表现数据。我们的结果表明，在不影响性能和提高 SS 级别的情况下，2K 分辨率是增强游戏体验的重要阈值。而且，从1K到4K的分辨率在播放器性能上并没有显着差异。我们的结果可以帮助游戏开发者和玩家确定他们想要使用的 HMD 类型，以平衡成本和收益之间的权衡，并获得更优化的体验。
- 研究旨在识别游戏画面中的游戏事件的各种基于深度神经网络的方法的性能
Matheus Prado Prandini Faria、Etienne Julia、Marcelo Zanchetta Do Nascimento 和 Rita MS Julia
摘要：视频游戏除了代表了与娱乐和市场极为相关的领域外，还被广泛用作人工智能的案例研究，以表示高度复杂的问题。在这些研究中，对赋予玩家代理从游戏场景中检索相关信息的能力的方法的研究脱颖而出，因为这些信息对于提高他们的学习能力非常有用。这项工作提出并分析了新的基于深度学习的模型，以识别超级马里奥兄弟游戏画面中发生的游戏事件。每个模型的架构由特征提取器卷积神经网络（CNN）和分类器神经网络（NN）组成。提取 CNN 旨在为游戏场景生成基于特征的表示并将其提交给分类器，以便后者可以识别每个场景中存在的游戏事件。这些模型根据以下元素彼此不同： CNN 的类型；NN分类器的类型；以及 CNN 输入处游戏场景表示的类型，可以是单帧，也可以是块，它们是 n 序列帧（在本文中，每个块使用 6 帧）分组到单个输入中。本文的主要贡献是展示了将游戏场景的块表示与分类器循环神经网络 (RNN) 的资源相结合的模型所达到的更高性能。以及 CNN 输入处游戏场景表示的类型，可以是单帧，也可以是块，它们是 n 序列帧（在本文中，每个块使用 6 帧）分组到单个输入中。本文的主要贡献是展示了将游戏场景的块表示与分类器循环神经网络 (RNN) 的资源相结合的模型所达到的更高性能。以及 CNN 输入处游戏场景表示的类型，可以是单帧，也可以是块，它们是 n 序列帧（在本文中，每个块使用 6 帧）分组到单个输入中。本文的主要贡献是展示了将游戏场景的块表示与分类器循环神经网络 (RNN) 的资源相结合的模型所达到的更高性能。
- 具有触觉反馈的交互式基于物理的虚拟雕刻
Avirup Mandal、Parag Chaudhuri 和 Subhasis Chaudhuri
摘要：雕刻是一种依赖视觉和触觉的艺术形式。因此，对雕刻的忠实模拟需要交互式的、物理上准确的触觉和视觉反馈。我们提出了一个基于物理的交互式雕刻框架，具有忠实的触觉反馈。我们通过设计一种称为改进的稳定扩展有限元方法的稳定、无网格划分的切割算法来实现材料的切割。我们提出了一个模拟框架，以交互速率实现稳定的视觉和触觉反馈。我们通过广泛的用户研究定量和定量地评估我们框架的性能。
- EasyVRModeling：通过沉浸式 VR 系统轻松创建 3D 模型
傅志英、徐瑞、辛世清、陈双敏、涂昌河、杨成雷、卢林
摘要：VR 的最新创新使在全息沉浸式模拟环境中构建 3D 模型成为可能。在本文中，我们开发了一个用户友好的空中交互建模系统，名为 EasyVRModeling。我们首先准备一个由不同组件组成的数据集，并为每个组件预先计算离散符号距离函数 (SDF)。在建模阶段，用户可以使用一对 VR 控制器自由设计复杂的形状。基于离散 SDF 表示，任何类似 CSG 的操作（联合、相交、减法）都可以在体素方面执行。在整个建模过程中，我们为整个场景维护一个单一的动态 SDF，以便 SDF 的零级集表面准确地编码最新构造的形状。SDF 融合和表面提取都是通过 GPU 实现的，以提供流畅的用户体验。我们要求 34 名志愿者使用 EasyVRModeling 创建他们最喜欢的模型。通过几分钟的简单训练过程，他们中的大多数人都可以很快地创造出迷人的形状甚至是描述性的场景。
方向 4：几何
- 3D 有符号距离函数的数据集和资源管理器
Towaki Takikawa、安德鲁·格拉斯纳和摩根·麦奎尔
摘要：参考数据集是创建新算法的关键工具。它们使我们能够比较不同的现有解决方案，并在新算法的开发过程中发现问题和弱点。符号距离函数 (SDF) 正在重新成为计算机图形学研究活动的焦点，但直到现在还没有此类函数的标准参考数据集。我们提供了一个包含 63 个不同复杂度的精选、优化和正则化函数的数据库。我们的函数以分析表达式的形式提供，可以在空间中的任何点在 GPU 上进行有效评估。我们还提供了一种查看和检查工具和软件，用于生成适用于传统图形和训练神经网络的 SDF 样本。
- 提高基于棱镜的运动模糊的精度
Mads Rønnow、Ulf Assarsson、Erik Sintorn 和 Marco Fratarcangeli
摘要：对于动态三角对象的运动模糊，通常为每个三角形构造一个棱柱状的形状，从它的三个边缘的线性轨迹和三角形在增量时间步长期间的开始和结束位置。这样的棱镜可以与主光线相交，以找到三角形开始和停止覆盖像素中心的时间点。这些交点配对成三角形和像素的时间间隔。然后，可能来自许多棱镜的所有时间间隔都用于聚合对像素的运动模糊颜色贡献。
出于实时渲染目的，通常在时间间隔内线性插值光线-三角形交点和 uv 坐标。这种近似通常效果很好，但是作为时间的函数，光线-三角形交点在 3D 和 uv 空间中的真实路径通常是非线性的。
在本文中，我们首先注意到交点的路径甚至可以部分位于棱柱体本身之外：即，棱柱体并不总是与三角形扫过的体积相同。因此，我们必须首先证明棱镜在寻找主光线的时间间隔时仍然作为边界体工作，因为当体积不同时，这可能不太明显。其次，我们展示了发生这种情况的一类简单且可能常见的情况，例如当三角形在时间步长期间经历类似摆动或摆动的运动时。第三，当体积不同时，用于三角形属性的棱镜表面上两点之间的线性插值效果特别差，这会导致视觉伪影。所以，最后，我们修改了基于棱镜的实时运动模糊算法，以沿着正确的路径使用自适应采样，这些路径与我们想要计算过滤颜色的三角形位置和 uv 坐标有关。由于具有自适应性，该算法对线性插值足够的像素的性能损失可以忽略不计，同时能够在需要的地方显着提高视觉质量，而额外成本非常低。
- SurfaceNets 用于保留尖锐边界的多标签分割
莎拉弗里斯肯
摘要：我们扩展 3D SurfaceNets 以生成由表示为索引标签的多种材料组成的分段 3D 医学图像的表面。我们的扩展生成了适用于渲染和四面体化的平滑、高质量的三角形网格，保留了材料之间的拓扑结构和清晰的边界，保证了用户指定的精度，并且速度足够快，用户可以交互式地探索精度和表面平滑度之间的权衡。我们以具有简单 API 的可扩展 C++ 库的形式提供开源代码，以及基于 Qt 和 OpenGL 的应用程序，允许用户导入或随机生成多标签体积以试验表面光洁度参数。在本文中，我们描述了基本的 SurfaceNets 算法、处理多种材料的扩展、保留材料之间清晰边界的方法以及用于实现高效处理的实现细节。
方向5：基于图像的算法
- 训练和预测实时应用程序的视觉错误
João Cardoso、Bernhard Kerbl、Lei Yang、Yury Uralsky 和 Michael Wimmer
摘要：视觉误差度量在感知图像相似度的量化中起着重要作用。最近，它们在实时应用程序中的用例已经出现，例如内容自适应着色和着色重用以提高性能和提高效率。已经建立了广泛的不同指标，其中最复杂的指标能够捕捉人类视觉系统的感知特征。然而，它们的复杂性、计算成本以及对参考图像进行比较的依赖阻止了它们在实时中的广泛使用，从而限制了此类应用程序仅使用最简单的可用指标。在这项工作中，我们探索了卷积神经网络在不需要参考或渲染图像的情况下预测各种视觉指标的能力。具体来说，我们训练和部署一个神经网络来估计由于重用着色或使用降低的着色率而导致的视觉误差。结果模型占方差的 70%-90%，同时实现了一个数量级的更快计算时间。我们的解决方案将大多数最先进的延迟着色管道中随时可用的图像空间信息与先前帧的重投影相结合，以实现对视觉错误的充分估计，即使在以前看不见的区域中也是如此。我们描述了一个合适的卷积网络架构和训练数据准备的注意事项。我们展示了我们的网络在延迟管道中实现内容自适应着色的实时应用程序中以交互速率预测复杂错误度量的能力。根据看不见的图像区域的部分，
- 没有运动矢量的快速时间重投影
Johannes Hanika、Lorenzo Tessari 和 Carsten Dachsbacher
摘要：渲染逼真的图形通常依赖于随机采样，即使是实时设置也越来越如此。在渲染动画时，通常有大量的信息可以在帧之间重复使用。这在许多离线和实时渲染算法中得到了利用，依赖于重新投影样本，用于作为后期处理或更多时间关键应用程序的去噪，例如用于交互式预览或实时渲染的时间抗锯齿。运动矢量在重投影过程中被广泛使用，以根据两个时间样本之间的输入几何矢量对齐相邻帧的变形。
不幸的是，这并不总是可能的，因为并非每个像素都可能具有连贯运动，例如当玻璃表面移动时：高光沿与表面或表面后面的对象不同的方向移动。因此，只有在特殊情况下才能估计真实运动矢量。我们设计了一种快速算法来计算图像空间中的密集对应关系，以将基于重投影的算法推广到分析运动矢量不可用且需要高性能的场景。我们的关键要素是将基于补丁的对应检测有效嵌入到分层算法中。我们展示了所提出的重投影技术在三个应用中的有效性和实用性：时间抗锯齿、手持连拍摄影和动画的蒙特卡洛渲染。
- 光谱图像的 OpenEXR 布局
阿尔班·菲切特、罗曼·帕卡诺夫斯基和亚历山大·威尔基
摘要：我们提出了一种标准化布局来组织存储在 OpenEXR 图像中的光谱数据。我们解释了为什么选择 OpenEXR 格式作为我们工作的基础，并解释了我们在数据选择和组织方面的选择：我们的目标是为测量或模拟光谱和双光谱数据的交换定义一个标准。我们还提供了以 OpenEXR 格式存储光谱图像的示例代码。
- MMPX 风格保留像素艺术放大
摩根麦奎尔和玛拉加久
摘要：我们展示了 MMPX，一种用于将像素艺术（例如 8 位和 16 位时代的视频游戏精灵、字体和屏幕图像）在每个维度上放大两倍的有效过滤器。MMPX 保留了艺术风格，试图预测如果艺术家在更大的范围内但在相同的技术限制下工作会产生什么。
像素艺术放大可以在运行时在现代屏幕上显示经典游戏和新的复古风格游戏，通过加载时的预计算提供高质量的精灵和光栅字体字形的缩放和旋转，并加速内容创建工作流程。
MMPX 重建曲线、对角线和尖角，同时保留准确的调色板、透明度和单像素特征。对于一般的像素艺术，它通常可以比以前的放大滤镜（例如最近邻、双线性、HQX、XBR 和 EPX）保留更多的原始艺术风格。在特定情况和应用中，其他过滤器会更好。我们建议将 EPX 和基本 XBR 用于仅具有圆角的内容，将 HQX 和抗锯齿 XBR 用于具有大调色板、渐变和抗锯齿的内容。MMPX 在嵌入式系统上足够快，可以在不到 0.5 毫秒的时间内在 GPU 或 CPU 上处理典型的复古 64k 像素全屏。我们为我们的方法和其他几个方法包括 C++、JavaScript 和 OpenGL ES GLSL 中的开源实现。
方向 6：外观和阴影
- 将线性变换余弦带入各向异性 GGX
Aakash Kt、Eric Heitz、Jonathan Dupuy 和 Narayanan PJ
摘要：线性变换余弦 (LTC) 是一系列分布，由于其分析积分特性，可用于实时区域光着色。现代游戏引擎使用普遍存在的 GGX 模型的 LTC 近似，但目前这种近似只存在于各向同性 GGX，因此不支持各向异性 GGX。虽然更高维度本身就是一个挑战，但我们表明在各向异性情况下拟合、后处理、存储和插值 LTC 时会出现几个额外的问题。必须小心地完成这些操作中的每一个，以避免呈现伪影。通过引入和利用 LTC 的不变性，我们为每个操作找到了稳健的解决方案。结果，我们获得了一个小的 8⁴ 查找表，它为各向异性 GGX 提供了一个合理且无伪影的 LTC 近似值，并将其用于实时区域光着色。
- 使用漫反射界面渲染分层材质
Heloise Dupont de Dinechin 和 Laurent Belcour
摘要：在这项工作中，我们介绍了一种实时渲染具有粗糙介电涂层的朗伯表面的新方法。我们表明，这种配置的外观用两个微面叶忠实地表示，分别解释直接和间接相互作用。我们使用 5D 表格根据光传输的一阶方向统计（能量、均值和方差）对这些波瓣进行数值拟合，并通过分析形式和降维将它们缩小到 2D + 1D。我们通过有效地渲染粗糙的塑料和陶瓷来证明我们方法的质量，密切匹配基本事实。此外，我们改进了最先进的分层材料模型，以包括朗伯界面。
- 使用线性变换余弦的自由形式平面区域光的实时着色
Takahiro Kuge、Tatsuya Yatagawa 和 Shigeo Morishima
摘要：本文介绍了一种简单而强大的方法，可以实时使用自由形式的平面区域灯照亮场景。为此，我们以两种方式扩展了以前的多边形区域光方法。首先，我们通过扩展 Ramer-Douglas-Peucker 算法来自适应地逼近光的闭合边界曲线，以考虑给定细分步骤对最终着色结果的重要性。其次，我们通过代数求解每个曲线段的多项式方程，有效地将光剪辑到上半球。由于这些贡献，我们的方法对于由三次贝塞尔曲线定义的各种光形状是有效的，并且比以前应用于均匀离散边界曲线的方法实现了显着的性能改进。
- 神经光度学引导的视觉属性迁移
Carlos Rodriguez-Pardo 和 Elena Garces
摘要：我们提出了一种基于深度学习的方法，用于将空间变化的视觉材料属性（例如纹理图或图像样式）传播到相同或相似材料的更大样本。对于训练，我们利用在多重照明下拍摄的材料图像和专用的数据增强策略，使传输对新的照明条件和仿射变形具有鲁棒性。我们的模型依赖于有监督的图像到图像转换框架，并且与转移域无关；我们展示了语义分割、法线贴图和风格化。遵循图像类比方法，该方法只需要训练数据包含与输入指导相同的视觉结构。我们的方法以交互速率工作，使其适用于材料编辑应用程序。我们在提供定量性能测量的受控设置中彻底评估我们的学习方法。最后，我们证明了在单一材料上训练模型足以推广到相同类型的材料，而不需要大量数据集。
方向 7：虚拟人
- 以低成本设置实时重新点亮人脸
Nejc Maček、Baran Usta、Elmar Eisemann 和 Ricardo Marroquim
摘要：视频流服务通常具有后处理效果来替换背景。但是，这些通常会产生不一致的照明。基于机器学习的重新照明方法可以解决这个问题，但在实时速率下，分辨率受限，并且可能导致不真实的皮肤外观。基于物理的渲染技术需要复杂的皮肤模型，而这些模型只能使用专门的设备才能获得。我们的方法是轻量级的，并且只使用标准的智能手机。通过在捕获过程中纠正缺陷，我们提取了一个令人信服的基于物理的皮肤模型。结合适当的加速技术，我们可以在商品硬件上实现实时速率。
- 使用卷积神经网络进行实时头发过滤
Roc R. Currius、Erik Sintorn 和 Ulf Assarsson
摘要：在实时应用程序中，从模拟物理到渲染看起来自然所需的精细细节（包括自阴影），渲染看起来逼真的头发通常仍然过于昂贵。
我们展示了如何训练可以实时评估的自动编码器网络来过滤包括自阴影在内的少数随机样本的图像，以生成考虑到真实头发厚度和透明度的更详细的图像。
- 用于表达性语音驱动的 3D 面部动画的联合音频文本模型
范英若、林兆江、齐藤君、王文平、高村拓
摘要：具有精确嘴唇同步的语音驱动的 3D 面部动画已被广泛研究。然而，很少有人探索在语音过程中为整个面部合成逼真的运动。在这项工作中，我们提出了一个联合音频文本模型来捕获表达性语音驱动的 3D 面部动画的上下文信息。收集现有数据集以涵盖尽可能多的不同音素而不是句子，从而限制了基于音频的模型学习更多不同上下文的能力。为了解决这个问题，我们建议利用从强大的预训练语言模型中提取的上下文文本嵌入，该模型已经从大规模文本数据中学习了丰富的上下文表示。我们的假设是文本特征可以消除上脸表情的变化，与音频的相关性不强。与从文本中学习音素级特征的先前方法相比，我们研究了语音驱动的 3D 面部动画的高级上下文文本特征。我们表明，组合的声学和文本模式可以合成逼真的面部表情，同时保持音频-嘴唇同步。我们进行定量和定性评估以及感知用户研究。结果证明了我们的模型相对于现有的最先进方法的卓越性能。我们表明，组合的声学和文本模式可以合成逼真的面部表情，同时保持音频-嘴唇同步。我们进行定量和定性评估以及感知用户研究。结果证明了我们的模型相对于现有的最先进方法的卓越性能。我们表明，组合的声学和文本模式可以合成逼真的面部表情，同时保持音频-嘴唇同步。我们进行定量和定性评估以及感知用户研究。结果证明了我们的模型相对于现有的最先进方法的卓越性能。
- 使用 3D 引导进行跨域和分离的人脸操作
王灿、柴梦蕾、何明明、陈东东、廖静
摘要：三维引导的人脸图像处理由于其语义上的意义理解和用户友好的可控性而被广泛应用于各种交互场景。然而，现有的基于 3D 可变形模型的操作方法并不直接适用于域外的人脸，例如非写实绘画、卡通肖像甚至动物，这主要是因为为每个特定的人脸域构建模型的难度很大。为了克服这一挑战，据我们所知，我们提出了第一种使用人类 3DMM 在任意域中操纵人脸的方法。这是通过两个主要步骤实现的：1）从 3DMM 参数到预训练 StyleGAN2 的潜在空间嵌入的解纠缠映射，保证每个语义属性的解纠缠和精确控制； 2) 跨域适应，通过强制一致的潜在空间嵌入，弥合域差异并使人类 3DMM 适用于域外人脸。实验和比较证明了我们的高质量语义操作方法在具有所有主要 3D 面部属性可控姿势、表情、形状、反照率和照明的各种面部域上的优越性。此外，我们开发了一个直观的编辑界面，以支持用户友好的控制和即时反馈。我们的项目页面是 https://cassiepython.github.io/cddfm3d/index.html
- 可落地的技术
- 以低成本设置实时重新点亮人脸
Nejc Maček、Baran Usta、Elmar Eisemann 和 Ricardo Marroquim
摘要：视频流服务通常具有后处理效果来替换背景。但是，这些通常会产生不一致的照明。基于机器学习的重新照明方法可以解决这个问题，但在实时速率下，分辨率受限，并且可能导致不真实的皮肤外观。基于物理的渲染技术需要复杂的皮肤模型，而这些模型只能使用专门的设备才能获得。我们的方法是轻量级的，并且只使用标准的智能手机。通过在捕获过程中纠正缺陷，我们提取了一个令人信服的基于物理的皮肤模型。结合适当的加速技术，我们可以在商品硬件上实现实时速率。
- 使用 3D 引导进行跨域和分离的人脸操作
王灿、柴梦蕾、何明明、陈东东、廖静
摘要：三维引导的人脸图像处理由于其语义上的意义理解和用户友好的可控性而被广泛应用于各种交互场景。然而，现有的基于 3D 可变形模型的操作方法并不直接适用于域外的人脸，例如非写实绘画、卡通肖像甚至动物，这主要是因为为每个特定的人脸域构建模型的难度很大。为了克服这一挑战，据我们所知，我们提出了第一种使用人类 3DMM 在任意域中操纵人脸的方法。这是通过两个主要步骤实现的：1）从 3DMM 参数到预训练 StyleGAN2 的潜在空间嵌入的解纠缠映射，保证每个语义属性的解纠缠和精确控制； 2) 跨域适应，通过强制一致的潜在空间嵌入，弥合域差异并使人类 3DMM 适用于域外人脸。实验和比较证明了我们的高质量语义操作方法在具有所有主要 3D 面部属性可控姿势、表情、形状、反照率和照明的各种面部域上的优越性。此外，我们开发了一个直观的编辑界面，以支持用户友好的控制和即时反馈。我们的项目页面是 https://cassiepython.github.io/cddfm3d/index.html
- EasyVRModeling：通过沉浸式 VR 系统轻松创建 3D 模型
傅志英、徐瑞、辛世清、陈双敏、涂昌河、杨成雷、卢林
摘要：VR 的最新创新使在全息沉浸式模拟环境中构建 3D 模型成为可能。在本文中，我们开发了一个用户友好的空中交互建模系统，名为 EasyVRModeling。我们首先准备一个由不同组件组成的数据集，并为每个组件预先计算离散符号距离函数 (SDF)。在建模阶段，用户可以使用一对 VR 控制器自由设计复杂的形状。基于离散 SDF 表示，任何类似 CSG 的操作（联合、相交、减法）都可以在体素方面执行。在整个建模过程中，我们为整个场景维护一个单一的动态 SDF，以便 SDF 的零级集表面准确地编码最新构造的形状。SDF 融合和表面提取都是通过 GPU 实现的，以提供流畅的用户体验。我们要求 34 名志愿者使用 EasyVRModeling 创建他们最喜欢的模型。通过几分钟的简单训练过程，他们中的大多数人都可以很快地创造出迷人的形状甚至是描述性的场景。
8790
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
