ICLR2024 | DiffTF：基于 Transformer 的大词汇量高质量 3D 物体生成框架

最新推荐文章于 2024-08-11 19:37:21 发布
最新推荐文章于 2024-08-11 19:37:21 发布
阅读量125 收藏 1
点赞数
文章标签： transformer 3d 深度学习 人工智能
原文链接：https://mp.weixin.qq.com/s?__biz=MzIwMTE1NjQxMQ==&mid=2247619398&idx=1&sn=52b67137ed48c2b85696c1fa4dfb9480&chksm=97baa17c04debe9a7d18f7035c114bb8615137e021f357d2409db7a4f850a76a2c8cff1a8d4e&scene=126&sessionid=0
版权

关注公众号，发现CV技术之美

在 ICLR2024 上，由南洋理工大学-商汤联合研究中心 S-Lab，香港中文大学，及上海人工智能实验室等合作提出了一种基于扩散模型的大量类别 3D 物体生成框架(Large-Vocabulary 3D Diffusion Model with Transformer)，克服了三个主要挑战：

  • a)3D 生成需要高效且表达力强的 3D 表示，

  • b)3D 物体拥有丰富多样的几何及纹理信息，

  • c)真实 3D 物体拥有复杂的外观。

本文提出了一种新的基于改进的三平面（triplane）和 Transformer 的 3D 感知扩散模型，DiffTF。

  1. 提高了三平面表征的拟合速度和准确性；

  2. 3D 感知的TransFormer能够处理跨平面的交叉关系，聚合通用 3D 知识和专用 3D 特征；

  3. 设计了3D感知的编码器/解码器来增强编码的三平面中的通用3D知识，以处理具有复杂外观的类别。

本文在ShapeNet和OmniObject3D（超过200个多样化真实世界类别）上的实验证明了DiffTF能够实现具有高度多样性、丰富语义和高质量的大词汇量3D物体生成。

a0517bf2cb9fe039ceee8c65364dc2c6.png

  • 作者：Ziang Cao, Fangzhou Hong, Tong Wu, Liang Pan, Ziwei Liu

  • 作者机构：南洋理工大学, 香港中文大学，上海人工智能实验室

  • 论文链接：https://arxiv.org/abs/2309.07920

  • 项目主页：https://ziangcao0312.github.io/difftf_pages/

  • GitHub代码：https://github.com/ziangcao0312/DiffTF

1 问题和挑战

在游戏、机器人和建筑设计等应用中，大量高质量的3D资产是极其匮乏的资源。最近通过Diffusion模型生成3D物体的研究已经取得了不错的进展，然而大多数工作仍然只能在某一个或少数类别上效果还不错，无法扩展到大量的类别上。这就引出了本文的研究重点：生成高质量大量类别的3D物体。

首先，本文认为大词汇量3D物体生成面临如下几个挑战：

  • a) 需要表达力强且高效的3D表示；

  • b) 大量类别的多样性；

  • c) 真实世界物体外观的复杂性。

对于3D表示，显式表示易于评估但计算量大，隐式表示易扩展但评估很耗时。因此作者在本文采用一种混合的3D表示，三平面特征(Triplane feature)。此外，在3D物体生成领域，扩散模型由于SOTA的效果受到了很大关注，因此本文尝试用单个扩散模型来做大词汇量3D物体生成。

2 方法介绍

为了回答前文所提出的问题并解决这些挑战，本文主要从3D表示和模型架构方面提出了一种解决方案。所提出的DiffTF的方法流程如下图所示。

6aedb4d9b66142054af95200187e66c1.png

DiffTF整体流程图：1）训练共享权重解码器并拟合三平面特征；2）使用经过训练的三平面优化3D感知Transformer扩散模型。

2.1 3D表征 Triplane 拟合

正如前文所述，Triplane这种三平面的混合表示可以同时满足表达力强和高效的要求。Triplane表示由3个三个轴对齐的正交特征平面，记为, 以及一个用于从平面中解析采样特征的MLP解码器构成。将3D坐标投影到Triplane，可以通过双线性插值查询出任何3D点对应的特征。给定位置和方向，视角依赖的颜色和密度可被表示为：

53f3d2cf95747c1dd6eaf01c36006556.png

其中表示位置编码。由于拟合的三平面是扩散模型的输入，各种各样的现实世界的物体的三平面需要在同一个空间。因此，我们需要训练一个鲁棒的类别无关的共享编码器。此外，为了约束三平面的值，本文采用强L2正则和TVloss正则：

202c04494a2a504e4f2f7da6a7038638.png

此外，为了进一步加快三平面拟合的速度，仅从前景点采样。为了避免背景RGB预测效果不佳的问题，设定了一个阈值来控制只从前景采样还是从整幅图像采样的比例。此外，本文还引入了一个前景-背景掩码。因此，三平面拟合的训练目标为：

7a588a7b64c518f0adbb60828c8fbf55.png

2.2 基于Transformer的具有3D感知的扩散模型

2.2.1 3D感知编码器/解码器

一般来说，低分辨率的特征有更丰富的语义特征且更鲁棒，而高分辨率的特征对于捕捉细节更有利。因此为了增强三平面中的3D信息，避免3D感知Transformer中的计算密集型操作，本文提出一种新的3D感知的编码器/解码器，用于将原始三平面特征编码为具有3D感知能力的。 

为避免在编码解码器中引入计算密集操作，采用单个卷积将特征分辨率降低。注意由于三平面特征具有3D关系，卷积需要分别在每个平面中进行。另外考虑到不同类别的三平面在特征空间中可能存在差异，受DiT [1]的启发，本文通过自适应层归一化(adaLN)引入条件信息。

最终为了在不同的平面上提取通用的3D知识，本文引入了交叉平面注意力，其细节如下图所示。

d72fe34287213e64148f4fefb91b35bb.png

2.2.2 3D感知Transformer

得益于 3D 感知Transformer编码器，在编码的高层级特征中增强了 3D 相关信息。为了提取全局通用3D知识，并进一步将其与专门的特征聚合，本文构建了3D感知的Transformer。它由自平面和跨平面注意力组成。前者旨在增强单个平面的专门信息，而后者专注于跨不同平面构建通用的 3D 先验知识。

结构如下图所示：

3c468dfc719425c9b20f127310b0319a.png

与 3D 感知编码器类似，本文采用补丁化模块和可学习的位置嵌入。具体来说，左分支中的自注意力模块可以在单个平面内部建立相互依赖关系。通过利用不同平面中的 2D 高级特征，本文的Transformer将利用丰富的语义信息。右分支侧重于提取不同平面的全局 3D 关系。类似地，为了增强每个平面的显式 2D 特征，我们在跨平面注意力之前采用了一个额外的自注意力模块。同时，为了避免过拟合带来的负面影响，本文引入了残差连接。

3 实验

数据集

本文实验主要在ShapeNet和OmniObject3D两个数据集上进行。其中ShapeNet的实验包括Chair, Airplane, Car三个类别，分别有6770，4045，3514个物体。OmniObject3D主要用于评估大词汇量3D物体生成，该数据集包含大词汇量的真实扫描3D物体，用216个具有挑战性的类别，3D物体质量高且几何形状复杂，例如玩具、水果、蔬菜和艺术雕塑等类别。

评估准则

2D评估准则:

  • Fr ́echet Inception Distance （FID-50k）

  • Kernel Inception Distance (KID-50k)

3D评估准则:

  • Coverage Score （COV）

  • 基于Chamfer Distance (CD)的Minimum Matching Distance (MMD）

2D准则在128x128的分辨率下进行评估，3D评估随机采样1024个点进行评估。

3.2 与SOTA方法对比

DiffTF在ShapeNet上的单类别生成和在OmniObject3D上的大词汇量3D生成都超过了现有的SOTA方法，即NFD[2]，EG3D[3],GET3D[4]。

ShapeNet上无条件生成的定量比较如下表所示，DiffTF在单类别生成方面超过了现有的方法。

e64fc12c3829a8598a74c05e21799306.png

ShapeNet上的可视化结果对比如下图所示，DiffTF在生成细节上具有明显优势。

f6e46b327b2a79a5f2a96ac3654123dc.png

OmniObject3D数据集上条件生成的定量比较，如下表所示。可以看到DiffTF在2D和3D指标方面明显优于其他SOTA方法。

ff9a8f2ccdaa2bd4a2034bea65cab476.png

OmniObject3D上的可视化结果对比如下图所示，DiffTF可以生成具有丰富语义信息的3D物体，易于与真实世界3D物体进行对应。

d45a1ff939a0d570dc212df73babfe3f.png5bf1e47a21bb4996f1a38b674f6ab118.png

3.3 消融实验

另外本文在OmniObject3D上展示了消融实验。TP Regu 和 TP Norm 表示三平面正则化和三平面归一化。此外，将编码器、原始Transformer和本文的3D感知Transformer中提出的跨平面注意表示为CP、Ori-TF和CP-TF。从实验结果可以看到本文提出的各个模块的有效性。

c41b6bdf17b9309d2802b7b45d5e6d4a.png

下图展示了不同结构模型生成3D物体的可视化对比的效果，可以直观证明本文所提出方法的有效性，更多可视化见本文补充材料。

7bec61f8604a563596c744bfb4faa63d.png

3.4 更多实验

同时本文进行了最近邻相关实验，证明了DiffTF具有不俗的生成能力。

0ce9d1392c79f49d1d16485b27e0be41.png

4 总结

为了将之前的在单个类别上优化模型的工作扩展到大词汇量的3D物体生成，本文提出了一种新的基于三平面的3D感知扩散框架DiffTF。它由两个 3D 感知模块组成：

  • 3D 感知编码器/解码器；

  • 3D 感知Transformer。

基于提取的通用和特殊的 3D 先验知识，DiffTF 可以生成具有丰富语义的各种高质量 3D 物体。并且在ShapeNet和OmniObject3D上与SOTA 方法的对比验证了DiffTF的良好性能。作者希望本文可以为大词汇量 3D 生成提供一些有价值的见解。

参考文献
[1] Peebles W, Xie S. Scalable diffusion models with transformers[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2023: 4195-4205.
[2] Shue J R, Chan E R, Po R, et al. 3d neural field generation using triplane diffusion[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2023: 20875-20886.
[3] Chan E R, Lin C Z, Chan M A, et al. Efficient geometry-aware 3D generative adversarial networks[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022: 16123-16133.
[4] Gao J, Shen T, Wang Z, et al. Get3d: A generative model of high quality 3d textured shapes learned from images[J]. Advances In Neural Information Processing Systems, 2022, 35: 31841-31854.

e49cacf2ef79228d09cc4120dbfd7f07.jpeg

END

欢迎加入「三维重建」交流群👇备注：3D

bc81475fdcab8f4ebd9d5e08d9185cf6.png

我爱计算机视觉
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
attention-lvcsr:基于端到端注意力的大词汇量语音识别
05-03
基于端到端注意力的大词汇量语音识别。 Dzmitry Bahdanau，Jan Chorowski，Dmitriy Serdyuk，Philemon Brakel，Yoshua Bengio （ ，ICASSP 2016） 和 序列预测的任务损失估计。 Dzmitry Bahdanau，Dmitriy Serdyuk...
2024年，还能靠爆火的transformer发顶会吗？
小白学视觉
04-12 93
Transformer模型，作为深度学习领域中的一次重大突破，为自然语言处理（NLP）领域的发展注入了新的活力。ChatGPT和Sora这两个应用便是Transformer强大能力的生动体现，它们分别将Transformer应用于对话生成和文本到视频的转换，展现了Transformer的广泛适用性和巨大潜力。我们邀请到英国某名校博士，top一区期刊最佳论文获奖者Henry老师为我们带来——引爆顶会...
ICML 2024 | Transformer究竟如何推理？基于样例还是基于规则
Paper weekly
06-29 80
©作者 |胡逸单位 |北京大学研究方向 |图机器学习论文标题：Case-Based or Rule-Based: How Do Transformers Do the Math?论文地址：https://arxiv.org/abs/2402.17709项目主页：https://github.com/GraphPKU/Case_or_RuleCase-based or rule-base...
ICML 2024｜Transformer究竟如何推理？基于样例还是基于规则 | 最新快讯
www3300300的专栏
06-30 338
为了确保结论的公平性，作者同时利用 random split 方法对数据集进行了训练集 / 测试集的划分，并观察到 random split 下模型可轻易在测试集上达到接近 100% 的准确率，说明 Leave-Square-Out 实验中的训练样例数是足够模型完成推理的，且再次侧面印证了 transformers 在做基于样例的推理（因为 random split 下所有 test samples 都有接近的 training samples）。），数据集的大小等因素进行了丰富的测试。
【IJCAI2024】LeMeViT: Efficient Vision Transformer with Learnable Meta Tokens
中国海洋大学AI前沿理论组
06-28 448
为此，作者提出了下图所示的框架。值得注意的是，网络的浅层使用的是cross-attention，深层使用的是自注意力（作者解释是自注意力的性能更高）。自然图像上的实验结果表明，学习到的 meta token 可以很好地关注图像中的目标，有助于提高分类精度。由于相邻像素和图像块之间的高度相关性，以及遥感图像中纹理和模式的重复性质，存在大量的空间冗余。如下图所示，ViT 中的自注意力机制计算每两个图像块之间的相似性，相似的token对特征表示的贡献很小，但消耗了大量的计算负载，影响了模型性能。
AAAI | 达摩院联合华科开源基于Transformer的零样本学习框架TransZero
孙佰贵的专栏
02-22 3892
本文介绍零样本学习框架TransZero。零样本学习 (ZSL) 旨在通过将语义知识从已见类迁移到未见类来识别新类。语义知识是从不同类别之间共享的属性描述中学习的，这些属性描述作为定位代表判别区域特征的对象属性的强先验，实现了重要的视觉语义交互。尽管一些基于注意力的模型试图在单个图像中学习此类区域特征，但视觉特征的可转移性和判别性属性定位通常被忽略。在本文中，我们提出了一个属性引导的 Transformer 网络，称为 TransZero，以细化视觉特征并学习 ZSL 中判别视觉嵌入表示的属性定位。
基于计算机视觉的 Transformer 研究进展
sinat_41942180的博客
10-31 883
目前，基于的图像分类研究大致可以分为 iGPT和ViT系列，本小节对部分图像分类方法从参数量和 Top1上的准确率进行了对比，如表2所示，“-”表示没有相关数据。此外，分析了数据集的大小对模型性能的影响，类比了 BiT和ViT的多个变体，如图9所示。表2部分图像分类方法对比iGPT 是 Transformer首次直接应用于图像分类的模型，它本身不含卷积网络，并且在 CIFAR-10和 CIFAR-100 数据集上优于如 ResNet 等 CNN 模型。
ICLR 2020 # 知识图谱推理框架：基于向量空间的推理和数值逻辑推理
05-07
在IT领域，知识图谱推理框架是近年来研究的热点，特别是在人工智能和自然语言处理中。这两篇论文分别探讨了不同的推理方法，一篇是基于向量空间的推理，另一篇则是结合了神经逻辑编程的数值推理。 首先，"基于向量...
ICLR2024录用论文
03-04
### ICLR2024 录用论文概览与核心知识点解析 #### 一、Retrieval is Accurate Generation **知识点概述：** 本篇研究关注于如何通过准确的生成模型来实现有效的检索任务。该研究提出了一个新颖的方法，旨在提高...
ICLR2021-Stats:ICLR 2021统计和图表
05-27
ICLR 2021统计和图表 用法 运行以下结果的ipython笔记本iclr2021_stats.ipynb 。 或者，在各自的csv文件中使用作者和隶属关系数据。 我还包括了一个直接脚本，用于使用简单的Selenium和漂亮的汤方法在scrape_...
Learning-From-Rules:在ICLR2020（https：
05-07
从规则化标签示例中学习（ICLR 2020） 该存储库在我们的提供了实验的实现 @inproceedings{ Awasthi2020Learning, title={Learning from Rules Generalizing Labeled Exemplars}, author={Abhijeet Awasthi and ...
Transformer在计算机视觉领域的研究综述
sinat_41942180的博客
10-26 2054
本文介绍了视觉 Transformer 模型基本原理和结构,分别从面向性能优化和面向结构改进两个方面对视觉 Transformer 的关键研究问题和最新进展进行了概述和总结,同时以图像分类和目标检测为例介绍了Transformer 在视觉任务上的应用情况。视觉 Transformer 作为一种新的视觉特征学习网络 ,文中结合CNN 对比总结了两种网络结构的差异性和优缺点,并提出了 Transformer+CNN 的混合结构。
表情识别论文调研
weixin_44350672的博客
12-18 2136
其次，在峰值帧下，提出了一种耦合局部和全局信息的联合特征学习架构来进行MEs(微表情识别)，因为并非所有区域对MEs的识别都有相同的贡献，有些区域甚至不包含任何情感信息。提出了一个全局和局部特征融合（GLFF）框架，通过将来自整个图像的多尺度全局特征与来自信息块的局部特征相结合，来学习丰富和有区别的表示，用于人工智能合成图像检测。本文提出了一种新的端到端面部表情合成方法，称为两级级联结构的局部和全局感知生成对抗性网络（LGP-GAN），用于提取和合成关键面部区域的细节。提出了一个新的数据集F2ED。
TransFER: Learning Relation-aware Facial Expression Representations with Transformers--2021.Fanglei
xu.hyj
09-19 1751
CNN在提取特征时，通过随机丢弃推动模型去学习更多不同地特征（类似不把鸡蛋放同一个篮子里），这样在脸部转动或不同类别间，能够找到更多更有区分度地特征，帮助更好分类。 CNN提取的多种特征，需要更好的联系起来才能完成分类，本文借鉴Transformer的强大全局注意力能力，探索CNN提取的不同局部特征间的关系，从而实现更好的分类。 注意：无论是CNN探索更多局部特征，还是Transformer中探索更多局部特征间的联系，都是使用了dropping思想，打破明显的、固有的特征和联系，从而推动学习更多特征和联系。
【深度学习】表情识别A Dual-Direction Attention Mixed Feature Network for Facial Expression Recognition
q742971636的博客
03-19 2635
代码：https://github.com/simon20010923/DDAMFN/tree/main此算法是当前的第一名：https://paperswithcode.com/paper/a-dual-direction-attention-mixed-feature面部表情在人类交流中起着重要作用，是理解情绪和态度的关键信号。因此，计算机需要获得辨识和解释面部表情的能力。[1–3]已经清楚地阐明了视觉感知、环境映射算法与基于生物识别认证计算机视觉的面部表情识别（FER）之间的关系，因此使用深度学习方法
Deep-Emotion: Facial Expression Recognition Using Attentional Convolutional Network--Shervin Minaee
xu.hyj
09-24 1361
本文作者尝试用比较小的CNN来进行表情识别，作者使用4个卷积层和spatial transformer作注意力分类，实现不超过10层的网络，并且在FER2013上取得了70%的精度，这对于本文这样一个很小的网络来说非常不错了。除此之外，作者还在CK+、JAFFE和ERG上面做了验证实验，结果都很不错。
地下管线三维建模工具MagicPipe3D V3.5.2发布
最新发布
专注空间智能，构建梦幻之城
08-11 220
经纬管网建模系统MagicPipe3D，本地离线参数化构建地下管网三维模型（包括管道、接头、附属设施等），输出标准3DTiles、Obj模型等格式，支持Cesium、Unreal、Unity、Osg等引擎加载进行三维可视化、语义查询、专题分析，提供单机和Usb狗2种许可方式！欢迎下载试用：http://www.magic3d.net。
基于YOLOv10深度学习的交通信号灯检测识别系统【python源码+Pyqt5界面+数据集+训练代码】红绿灯检测、目标检测、人工智能
阿旭的博客
08-08 1586
基于YOLOv10深度学习的交通信号灯检测识别系统【python源码+Pyqt5界面+数据集+训练代码】红绿灯检测、目标检测、人工智能
基于深度学习的图像伪造检测
weixin_42605076的博客
08-09 543
基于深度学习的图像伪造检测主要利用深度学习技术来识别和检测伪造的图像内容，尤其是在生成对抗网络（GAN）等技术发展的背景下，伪造图像的逼真程度大大提升。图像伪造检测在信息安全、隐私保护、司法鉴定等领域具有重要意义。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值