【2023.7.20】中国SIGGRAPH论文预报告会一

渲染

2 Ultra-high resolution SVBRDF Recovery from a single Image

1）已有方法缺点：内存消耗, cnn；High-resolution cropping速度慢

2）目标：4K，Light-weight setup（只需要手机拍摄的照片即可，不需要专业设备）

3）主要思路：

cnn获取全局特征，分割提取局部特征。

首先resampling降低输入精度，提高cnn运行速度。然后通过网络内层的material vision transformer提取全局特征，解决局部特征的接缝问题（如左右粗糙度不一致问题）。

4）效果：高光和漫反射效果解耦合，需要8g左右内存

5）局限性：光泽区域面积大的情况处理不好。忽略手机镜头透视对输入图片的影响。

6）未来工作：把工作实现到复杂几何物体上。该工作的主要问题，物体自身遮挡的部分角度的入射光、出射光，改变了BRDF。

3 Neural Parametric Mixtures for Path Guiding

1）目标：保留传统方法参数化特征的同时、结合神经网络轻量化特点

2）训练目标：最小化目标分布和预测分布的KL散度。其中KL散度的积分部分通过蒙特卡洛方法估计。

3）内容：为了学习高频输入的细节，同时保持网络的轻量级特征。高频输入被划分为高频网格拼接，并映射到高频空间。只增加10%的开销。

4）缺点：网格只能均匀分割，不能自适应；只有固定数量输出

4 ETER：Elastic Tessellation for Real-Time Pixel-Accurate Rendering of Large-Scale NURBS Models：曲面的裁切渲染

1）Motivation：

曲面在大型工业软件中不能直接渲染，需要先采样、生成mesh。不同精度切换速度。裁切接缝处，在不同预处理时间长、内存占用大。

2）目标：实时裁切、实时渲染

3）内容：

（1）裁切：把pixel error改进为模型error.

（2）采样策略：半均匀策略。具体计算结合tensor core底层运算。

（3）Crack filling:接缝处两侧网格精度不同，这类点在屏幕上会形成闪烁的白点。

（4）渲染：处理像素级别的小三角形，使用类似nano的软光栅方法。

4）结果：相比硬件分割，加速3-16倍。

物理仿真与模拟

1 Building a Virtual Weakly-compressible Wind Tunnel Testing Facility

1)motivation:工业界一般计算稳态分布，但是不能用于动画模拟。

2)内容：使用并改进Lattice Boltzmann method：（navier-stokes equation中的nonlinear项保证了流体的不可压性，但是使计算效率下降）。该方法只在局部位置考虑非线性，周围点用线性方法计算。这样的计算便于并行计算和湍流模拟。

3）目标：精度、复杂几何

2 DreamFace: Progressive Generation of Animatable 3D Faces under Text Guidance

1）背景：三套穹顶系统：2）实现视频重打光，缺点是不能兼容常用的渲染器。3）带Brdf、动态绑定、微表情的数字人材质资产

Styleclip，Avatar clip的资产不能直接使用（衣服和人体绑定、lighting baked到漫反射中）

2）pipeline：

几何包含两个步骤，首先根据文字选择合适的参数化人脸模型（HACK）用于加速。第二步用stable diffusion+sds监督对模型雕刻。

材质利用三部分数据（南京大学的开源数据facescape）生成。为了提高皮肤材质的多样性，用finetune前的模型（人种多样性）和finetune后（更了解皮肤的特点）的共同优化。然后对生成的材质上采样提高精度。最后利用驱动模块生成不同模型驱动的微动作（基于2021siggraph工作+微表情数据+更大4d驱动数据提高模型泛化性）。

3）结果：生成4K精度、可驱动的gameready模型。算法的网页版本chatAvatar，30s左右生成模型。

3 StyleAvatar: Real-time Photo-realistic Portrait Avatar from a Single Video

1）输入：2-5min视频，精度1K以上，视频内包括丰富的表情变化。

2）Pipeline：

根据输入视频，利用3DMM tracking 的参数化方法实现对资产的控制。（引用作者cvpr工作，该方法主要包含两个步骤，检测特征点+求解优化问题。）

结合styleGAN和UNet特点，构建styleUnet，提取特征。

分解视频为脸部、背景、非面部，最后用对抗训练的判别器结合三部分特征。

3）缺点：嘴部的内部结构不清楚、视频驱动人和输出的数字资产的体型差距较大时，输出结果的视频中人的体型会发生变化。

4 PoseVocab: Learning Joint-structured Pose Embeddings for Human Avatar Modeling

1）已有工作：NeRF based的人体姿势生成方法，一般是将人体姿势编码为特征，特征作为条件输入nerf。因此对人体姿势编码的方法非常重要。

相关工作的编码包括两种方法：1）Per-frame code 2）Pose vector，normal vector再输入nerf。动态场景的编码方法不能直接应用在人体中，因为人体的空间维度比时间维度更dense。

2）Pipeline：首先查询pose库，然后增加Global embedding、joint vector。三维joint vector主要是用于提高global embedding的泛化性。

3）缺点：不能处理衣物随人体的变动。精度有待提高。

5 RSMT：real-time stylized motion transition for characters

1）目标：实时给定框架的动画过渡帧风格化生成。速度、可控性、质量。

2）已有工作：间补动画主要在定位关键帧，风格化主要在处理语义相似的视频。

3）Pipeline：motion manifiold model控制视频的高质量生成，motion sampler负责在监督信号下生成有特色的动作。

4）结果：推理速度30s/per frame。训练数据集：100style。

5）缺点：只能保持风格，而不能转变风格。