[CVPR‘22] EG3D: Efficient Geometry-aware 3D Generative Adversarial Networks

最新推荐文章于 2024-04-25 09:38:28 发布
最新推荐文章于 2024-04-25 09:38:28 发布
阅读量5.8k 收藏 18
点赞数
分类专栏： 人脸 文章标签： 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40731332/article/details/129032559
版权

总结：

  • 本文提出一种hybrid explicit-implicit 3D representation: tri-plane hybrid 3D representation，该方法不仅有更强的表达能力，速度更快，内存开销更小。
  • 同时，为解决多视角不一致问题，引入相机参数矩阵作为StyleGANv2生成器、超分模型、Volume Rendering的控制条件。
  • 最后，为解决超分模型导致的信息丢失问题，本文提出dual discrimination strategy，使得超分前后图像保持一致。

skirt the cimputational constraints

inherit their efficiency and expressiveness

xx has started to gain momentum as well

目录

摘要

引言

贡献

近期工作

Neural scene representation and rendering. 

Generative 3D-aware image synthesis. 

Tri-plane hybrid 3D representation

3D GAN framework

CNN generator backbone and rendering 

Dual discrimination

Modeling pose-correlated attributes

Experiments and results

Ablation study

Application

摘要

  • 研究如何基于单视角2D图片，通过无监督方法，生成高质量、多视角一致的3D形状；
  • 现有3D GAN存在问题：1）计算开销大；2）不具有3D一致性（3D-consistent）；
  • 本文提出：1）expressive hybrid explicit-implicit network architecture：提速、减小计算开销；2）decoupling feature generation and neural rendering：可以借助sota 2D GAN，例如：StyleGAN2。
  • 在FFHQ和AFHQ Cats的3D-aware synthesis任务上达到sota。

引言

  • 现有2D GAN无法显式地建模潜在的3D场景；
  • 近期3D GAN，开始解决：1）多视角一致的图片生成；2）无需多视角图片和几何监督，提取3D形状。但是3D GAN生成的图片质量和分辨率仍然远逊于2D GAN。还有一个问题是，目前3D GAN和Neural Rendering方法计算开销大。
  • 3D GAN通常由两部分组成：1）生成网络中的3D结构化归纳偏置；2）neural rendering engine提供视角一致性结果。其中，归纳偏置可以被建模为：显式的体素网格或隐式的神经表达。但受限于计算开销，这两种表达方式都不适用于训练高分辨率的3D GAN。目前常用的方法是超分，但超分又会牺牲视觉连续性和3D形状的质量。
  • 本文提出：1）hybrid explicit-implicit 3D representation由于提速、减小计算开销；2）dual discrimination strategy由于保留输出和neural rendering的一致性；3）对生成器引入pose-based conditioning，解耦pose相关属性，例如人脸表情系数；4）本文框架将特征生成从neural rendering中解耦出来，使得框架可以受益于sota 2D GAN，例如：StyleGAN2。

贡献

  • 提出一种tri-plane-based 3D GAN框架。在保持效果的情况下，提速明显；
  • 提出一种3D GAN训练策略dual discrimination，用于保持多视角一致性；
  • 提出generator pose conditioning，建模pose相关的属性，例如：表情。
  • 在FFHQ和AFHQ Cats的3D-aware图片生成中取得sota结果。

近期工作

Neural scene representation and rendering. 

  • 显示表达（图b），例如：discrete voxel grids。优点是fast to evaluate，缺点是需要大量的内存开销大；
  • 隐式表达（图a）：例如：neural rendering。优点是内存使用高效，缺点是slow to evaluate。
  • 局部隐式表达和混合显-隐式表达，则兼具了两者优点。
  • 受此启发，本文设计了hybrid explicit-implicit 3D-aware network（图c）：用tri-plane representation去显示存储沿坐标轴对齐的特征，而特征则是被通过特征解码器隐式的渲染为体素。

Generative 3D-aware image synthesis. 

  • Mesh-based approaches；Voxel-based GANs，内存开销大，通常需要使用超分，但超分会导致视角不一致；Block-based sparse volume representations：泛化性不好。Fully implicit representation networks，但测试很慢。
  • 和StyleGAN2-based 2.5D GAN的区别：他们生成图片和深度图，而我们不需要；
  • 和3D GAN，例如StyleNeRF和CIPS-3D的区别：他们在3D形状上表现不佳。

Tri-plane hybrid 3D representation

  • 建立xyz三个相互垂直的特征平面，每个特征平面为N x N x C，其中N为平面分辨率，C为特征维度。对于任意一个3D位置，通过双线性插值，可索引到3个特征向量（F_xy, F_xz, F_yz），最终特征F为3个特征向量之和。
  • 通过一个轻量级MLP解码网络，将特征F映射为颜色和强度，最后通过neural volume rendering将他们渲染为RGB图片。下图和下表显示，所提出的Tri-plane在具有更强表现能力的同时，内存开销更小，计算速度更快。

 

3D GAN framework

对每张训练图片，本文使用离线pose检测器计算其相机内外参数。算法整体pipeline如下： 

训练方法1：随机初始化，使用non-saturating GAN loss with R1 regularization，训练方法跟随StyleGAN2；训练方法2：两阶段训练策略，先训64 x 64的neural rendering，然后接128 x 128的fine-tune。实验显示，正则化有助于减少3D形状的失真。

CNN generator backbone and rendering 

  • decoder：MLP，每层包含64个神经元和softplus activation functions。MLP的输入可以是连续坐标，输出是scalar density和32维的特征
  • Volume rendering：输入feature images，而不是RGB图片。因为，feature images包含更多可在超分中使用的信息。

Dual discrimination

  • 鉴别器输入为6通道。本文认为feature image I_F的前三个通道是低分辨率RGB图片I_RGB。dual discrimination首先要求I_RGB和超分图片I_RGB^+保持一致（？），这一步通过双线性上采样得到。然后将超分超分图片和上采样图片拼接在一起送入鉴别器。对于真实图片，则是将真实图片和经过blur处理的真实图片拼接在一起送入鉴别器。
  • 将相机内外参数送入鉴别器，作为条件标签。

Modeling pose-correlated attributes

  • 大多数现实世界数据集包含偏置，例如在FFHQ中，人脸表情和相机位置相关，通常来说，当相机正对人脸时，人是在笑的。本文提出generator pose conditioning，用于解耦训练图片中位姿和其他属性（可以理解为想要去除什么bias，就以bias为条件作为输入？）。
  • 为增强模型对输入位姿的鲁棒性，在训练中，会以50%概率将相机参数矩阵P中的位姿替换为随机位姿。
  • 消融实验发现，在训练时加入位姿作为条件很重要。未来的工作会考虑去除它。

 

Experiments and results

  • Datasets：FFHQ真实人脸数据集，AFHQv2 Cats，真实猫脸数据集。
  • Baselines：3个3D-aware image synthesis领域的sota方法：pi-GAN、GIRAFFE和Lifting StyleGAN。
  • Qualitative results：

  • Quantitative evaluations：

 

  • Runtime：

 

Ablation study

 

Application

  • Style mixing：

  •  Single-view 3D reconstruction：使用pivotal tuning inversion (PTI)

 

 

zzl_1998
关注
专栏目录
CVPR2019/图像翻译：TransGaGa: Geometry-Aware Unsupervised Image-to-Image Translation几何感知的无监督图像到图像的翻译
ssshyeong的博客
06-23 1088
提出了一个新的解纠缠和翻译框架，以解决复杂的对象图像到图像的翻译任务。我们不直接学习图像空间上的映射，而是将图像空间分解为外观空间和几何潜在空间的笛卡尔积。具体地说，我们首先引入几何先验损失和条件VAE损失来鼓励网络学习独立但互补的表示。然后，翻译分别建立在外观和几何空间上。......
CVPR 2021最全论文开放下载！附pdf下载链接！
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
SIGGRAPH 2023 | NeRF基于线稿生成逼真三维人脸，细节风格随意改
Paper weekly
08-07 358
©作者 |机器之心编辑部来源 |机器之心这个方法可以高效构建三维模型，精细程度很高。高真实感且精确可控的三维人脸建模是数字人构建中的重要问题之一。目前，使用现有的基于网格的人脸建模方法需要专业的人员使用复杂的软件并投入大量的时间和精力，且实现逼真的人脸渲染结果较为困难。虽然神经辐射场作为一种新的三维表示可以合成出逼真的结果，但如何对生成结果进行精确控制和修改，以实现高质量的三维人脸合成仍然是一...
13、Efficient Geometry-aware 3D Generative Adversarial Networks
小白的博客
08-16 1906
gan nerf
【论文笔记 - NeRFs - CVPR2022】Efficient Geometry-aware 3D Generative Adversarial Networks
qq_43491212的博客
02-23 1143
提出一种显示和隐式混合的三平面场景表征方法（由stylegan2生成），具有内存消耗低和效率高的特点。为了保证多视角的一致性，还提出了双重判别的鉴别器。
Efficient Geometry-aware 3D Generative Adversarial Networks
JM的博客
06-20 420
利用单张图片，通过无监督的方式生成多角度协同的视图和对应的3D图仍存在很大的挑战当前的3D GANs模型存在两点不足：1.所需计算资源巨大–限制了其实际应用和可输出分辨率；2.采用估计的方法而非3D协同（没有采用一个点一个点的方法去生成整张3D视图）–无法做到真正的多角度协同。作者提出了一种高效的，显示-隐式混合的模型，可以实时生成高分辨率的多角度协同视图以及对应的3D视图。
EG3D: Efficient Geometry-aware 3D Generative Adversarial Networks [2022 CVPR]
qq_53826699的博客
08-23 1003
长期以来，仅使用单视角二维照片集无监督生成高质量多视角一致图像和三维形状一直是一项挑战。现有的三维 GAN 要么计算密集，要么做出的近似值与三维不一致；前者限制了生成图像的质量和分辨率，后者则对多视角一致性和形状质量产生不利影响。通过解耦特征生成和神经渲染，我们的框架能够利用最先进的二维 CNN 生成器（如 StyleGAN2），并继承其效率和表现力。在这项工作中，我们在不过度依赖这些近似值的情况下，提高了三维 GAN 的计算效率和图像质量。为此，我们引入了一种。，结合其他设计选择，不仅能实时。
EG3D~
whaosoft143ai的博客
09-14 269
AFA 模块结构如下。我们以 EG3D 为例进行分析，实验显示不同 condition 下采样的 latent 会产生不同质量的3D几何，在完整的 latent space 中，不是每一个采样的 w 都能产生完整的几何，只有在 canonical latent space 中采样得到的 latent 可以生成高质量的完整几何（Fig. 3 中间一行），其生成的相应 3D 表示 tri-plane上的特征也体现出 canonical 性质，因此定义为 canonical feature space。
图像风格迁移cvpr2020_GitHub - wty2019/CVPR2020-Code: CVPR 2020 论文开源项目合集
weixin_39689297的博客
01-13 1054
CVPR2020-CodeCVPR 2020 论文开源项目合集，同时欢迎各位大佬提交issue，分享CVPR 2020开源项目关于往年CV顶会论文(如ECCV 2020、CVPR 2019、ICCV 2019)以及其他优质CV论文和大盘点，详见： https://github.com/amusi/daily-paper-computer-visionCNNExploring Self-attent...
CVPR 2022 论文列表（持续更新）
gbstack08的专栏
03-05 1万+
本文包括论文链接及代码 关注公众号：AI基地，及时获取最新资讯，学习资料 GitHub链接：GitHub - gbstack/cvpr-2022-papers: CVPR 2022 papers with code 因为CSDN的markdown编辑器限制，文本多了保存会卡死。大家尽量到上面的GitHub链接去看吧。 CVPR2022 Papers (Papers/Codes/Demos) 分类目录： 1. 检测 2. 分割(Segmentation) 3. 图像处理(Image Pro
探索EG3D：一款高效、直观的三维图形渲染库
最新发布
gitblog_00006的博客
04-25 548
探索EG3D：一款高效、直观的三维图形渲染库 去发现同类优质开源项目:https://gitcode.com/ 简介 是由NVIDIA实验室开源的一款现代三维图形渲染库，它为开发者提供了一个强大且灵活的平台，用于构建高性能的3D应用。如果你是游戏开发人员、数据可视化专家或是对实时渲染有需求的工程师，那么EG3D将是你不容错过的选择。 技术分析 基于 Vulkan 的渲染引擎 EG3D 深度利用了V...
[23] TriPlaneNet: An Encoder for EG3D Inversion
qq_40731332的博客
07-20 571
任务是3D GAN Inversion，旨在找到给定图像的隐码/Tri-plane。 现有方法可分为Optimizaiton-based methods和encoder-based methods。前者旨在通过损失找到最优隐码，后者旨在学习给定图片和隐码的映射关系。前者通常效果更好，但速度较慢。 本文通过pSp得到粗tri-plane，通过TriplaneNet生成tri-plane残差，得到最终的精细化tri-plane。
2023.8.19-2023.8.24 周报【人脸3D+虚拟服装方向基础调研-Cycle Diffusion\Diffusion-GAN\PV3D\EG3D\3D人脸调研汇总】
qq_53826699的博客
08-19 1139
2. https://arxiv.org/abs/2212.06384 这个是一篇比较新的视频人脸3d重构的论文，可以顺着这篇论文找一找有没有相关的做视频3d重构的论文和数据集。生成模型、MCMC、重要性采样、吉布斯采样、GAN、VAE、条件GAN、条件VAE、DDPM和条件DDPM、DDPM、DDIM、StableDiffusion。的形式，同时也可以调研一下有没有人follow这篇论文做了类似cyclegan的事情。1. 这篇是做diffusion和gan结合的，可以参照一下看看能不能做。
【三维生成】稀疏重建、Image-to-3D方法（汇总）
qq_45752541的博客
12-26 3663
总结近几年流行的三维生成方法，包括稀疏重建、文本到3D、图像到3D等。
CVPR 2023 | 南洋理工、商汤提出E3DGE：2D图片秒出3D形象
我爱计算机视觉
07-05 496
关注公众号，发现CV技术之美导读在CVPR 2023上，南洋理工大学-商汤科技联合实验室S-Lab的研究者提出的基于Encoder的快速3D GAN Inversion方法，针对现有3D GAN inversion方法无法兼顾重建速度、重建质量和编辑质量的问题，提出一种自监督3D GAN inversion训练框架。同时，通过构建全局-局部的多尺度结构以及2D-3D混合对齐模型实现了高保真、可编辑...
（八：2020.08.27）CVPR 2020 追踪之论文纲要（译）
热门推荐
Jojo论文基地
08-27 1万+
CVPR 2019 追踪之论文纲要（修正于2020.08.27）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 Respect！ 论文目录 论文 概要 12-in-1 - Multi-Task Vision and Language Repre
论文带读——3D Neural Field Generation using Triplane Diffusion
qq_45962272的博客
12-02 2179
3D Neural Field Generation using Triplane Diffusion论文带读
[CVPR‘23] PanoHead: Geometry-Aware 3D Full-Head Synthesis in 360 deg
qq_40731332的博客
07-10 1489
任务：3D human head synthesis 现有问题：GANs无法在「in-the-wild」「single-view」的图片情况下，生成360度人像 解决方案：1）提出了two-stage self-adaptive image alignment，用于robust 3D GAN training；2）提出了tri-grid neural volume representation，用于解决头后镜像脸的问题；3）提出了foreground-aware tri-discriminator，用于将人
CVPR 2023 | E3DGE让2D图片秒出3D形象，南洋理工、商汤等
idol24的博客
09-14 454
前言在CVPR 2023上，南洋理工大学-商汤科技联合实验室S-Lab的研究者提出的基于Encoder的快速3D GAN Inversion方法，针对现有3D GAN inversion方法无法兼顾重建速度、重建质量和编辑质量的问题，提出一种自监督3D GAN inversion训练框架。同时，通过构建全局-局部的多尺度结构以及2D-3D混合对齐模型实现了高保真、可编辑的3D重建。该方法适配包括...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值