TPAMI 2024 | DreamStone图像：作为文本引导的三维形状生成的垫脚石

于 2024-09-01 09:30:00 发布
阅读量55 收藏
点赞数 4
分类专栏： 论文解读 IEEE TPAMI 文章标签： 深度学习 TPAMI IEEE 顶刊论文 论文解读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42722197/article/details/141100950
版权
论文解读 IEEE TPAMI 专栏收录该内容
171 篇文章 11 订阅 ¥29.90 ¥99.00
订阅专栏

DreamStone Image as a Stepping Stone for Text-Guided 3D Shape Generation

DreamStone图像：作为文本引导的三维形状生成的垫脚石

Zhengzhe Liu, Peng Dai, Ruihui Li, Xiaojuan Qi, and Chi-Wing Fu

摘要

本文提出了一种新的文本引导的3D形状生成方法DreamStone，该方法使用图像作为连接文本和形状模态的垫脚石，无需成对的文本和3D数据即可生成3D形状。我们方法的核心是两阶段的特征空间对齐策略，利用预训练的单视图重建（SVR）模型将CLIP特征映射到形状：首先，将CLIP图像特征映射到SVR模型的细节丰富的3D形状空间，然后将CLIP文本特征通过鼓励渲染图像与输入文本之间的CLIP一致性映射到3D形状空间。此外，为了超越SVR模型的生成能力，我们设计了文本引导的3D形状风格化模块，可以在测试期间增强输出形状的新颖结构和纹理。进一步，我们利用预训练的文本到图像扩散模型来增强生成多样性、保真度和风格化能力。我们的方法通用、灵活、可扩展。它可以轻松地与各种SVR模型集成，以

了解本专栏 订阅专栏 解锁全文
小白学视觉
关注
  • 4
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
TPAMI 2024 | P2T：用于场景理解的金字塔池化Transformer
小白学视觉
08-19 527
最近，视觉Transformer通过推动各种视觉任务的最前沿取得了巨大成功。视觉Transformer面临的最大挑战之一是图像标记的大序列长度导致高计算成本（二次复杂度）。解决这个问题的一个流行方法是使用单个池化操作来减少序列长度。本文考虑了如何改进现有的视觉Transformer，其中通过单个池化操作提取的池化特征似乎不够强大。为此，我们注意到金字塔池化由于其在上下文抽象方面的强能力，在各种视觉任务中已被证明是有效的。然而，金字塔池化尚未在主干网络设计中被探索。
TPAMI 2024 | 人体运动生成：一项综述研究
小白学视觉
07-31 908
人类动作生成旨在生成自然的人姿势序列，并展示出对现实世界应用的巨大潜力。近年来，在运动数据收集技术和生成方法方面取得了实质性进展，为人类动作生成日益增长的兴趣奠定了基础。该领域的大多数研究侧重于基于条件信号生成人类动作，例如文本、音频和场景上下文。尽管近年来取得了显著进展，但由于人类动作的复杂性质及其与条件信号的隐式关系，该任务仍然面临挑战。在这篇综述中，我们提供了人类动作生成的综合文献回顾，据我们所知，这是该领域首次此类综述。
TPAMI 2024 | 正则化损失与超参数估计在弱监督单类分割中的应用
小白学视觉
07-18 983
Regularized Loss With Hyperparameter Estimation for Weakly Supervised Single Class Segmentation 正则化损失与超参数估计在弱监督单类分割中的应用 作者：Zongliang Ji; Olga Veksler 摘要 我们提出了一种新的图像级弱监督分割方法，适用于只含有单一感兴趣对象类别的数据集。我们的方法基于经典条件随机场（CRF）建模启发的正则化损失函数。我们的损失模型了通用对象的属性，并用它引导CNN朝向更可能对
TPAMI 2024 | 从医学图像的视角解读diffusion model里面的测度引导问题
小白学视觉
07-22 608
题目：Measurement Guidance in Diffusion Models: Insight from Medical Image Synthesis 从医学图像的视角解读diffusion model里面的测度引导问题 作者：Yimin Luo; Qinyu Yang; Yuheng Fan; Haikun Qi; Menghan Xia 源码链接： https://github.com/yangqy1110/MGDM 摘要 在医疗保健领域，样本获取通常受到成本、劳动密集型注释、隐私问题和辐
TPAMI 2024 | MotionDiffuse：基于文本驱动的人体运动生成扩散模型
小白学视觉
07-21 114
人类动作建模是许多现代图形应用的重要组成部分，通常需要专业技能。为了消除普通人的专业技能障碍，最近的动作生成方法可以直接根据自然语言生成人体动作。然而，使用各种文本输入实现多样化和细粒度动作生成仍然具有挑战性。为了解决这个问题，我们提出了MotionDiffuse，这是最早的基于扩散模型的文本驱动动作生成框架之一，它展示了相对于现有方法的几个理想属性。1) 概率映射。与确定性的语言-动作映射不同，MotionDiffuse通过一系列去噪步骤生成动作，在这些步骤中注入变化。2) 现实合成。
TPAMI 2024 | 学生损失：走向不准确监督中的概率假设
小白学视觉
07-23 357
题目：Student Loss: Towards the Probability Assumption in Inaccurate Supervision 学生损失：走向不准确监督中的概率假设 作者：S. Zhang; J. -Q. Li; H. Fujita; Y. -W. Li; D. -B. Wang; T. -T. Zhu; M. -L. Zhang; C. -Y. Liu 摘要 在数据集中常常会遇到噪声标签，但学习它们是具有挑战性的。尽管在噪声类别中干净和被误标的样本之间存在自然差异，但该领域的
TPAMI 2024 | I2C：用于高保真可变速率图像压缩的可逆连续编解码器
小白学视觉
07-21 123
有损图像压缩是媒体传输和存储中的核心技术。最近，可变码率方法获得了较多关注，以避免在不同压缩率下使用不同的模型集合。在媒体共享过程中，不可避免地会执行多次不同码率的重新编码。然而，现有的基于变分自编码器（VAE）的方法在这种情况下很容易被破坏，导致强烈的伪影出现和图像保真度的破坏。基于通过可逆变换保持图像保真的理论发现，我们旨在解决高保真度细粒度可变码率图像压缩的问题，因此提出了可逆连续编解码器（I2C）。我们以数学可逆的方式实现I2C，并采用核心的可逆激活变换（IAT）模块。
TPAMI 2024 | PiCO+：用于鲁棒部分标签学习的对比标签消歧
小白学视觉
06-10 180
部分标签学习（Partial Label Learning, PLL）是一个重要的问题，它允许每个训练样本被标记为包含真实标签的粗略候选集。然而，在更实际但具有挑战性的场景中，注释者可能遗漏真实标签并提供错误的候选集，这被称为噪声PLL问题。为了解决这个问题，我们提出了PiCO+框架，该框架同时对候选集进行消歧和减轻标签噪声。PiCO+的核心是，我们开发了一种新颖的标签消歧算法PiCO，它由对比学习模块和新颖的基于类原型的消歧方法组成。
深度学习中的PyTorch Tensor详解
SWZ156的博客
08-27 815
PyTorch 中的 Tensor 是深度学习模型的核心数据结构。通过本文，你应该对张量的创建、属性、基本操作以及如何在深度学习中应用有了更深入的了解。在实践中，你会发现 PyTorch 提供了非常丰富的功能，助力你构建和优化神经网络模型。
深度学习100问27:什么是截断的BPTT
yyq916的博客
08-31 88
截断的 BPTT 呢，先确定一个合适的长度，就好比决定每一小段故事有多长。这种方法在很多地方都大显身手哦，比如自然语言处理里训练语言模型、搞机器翻译的时候，就像一个得力的小助手。想象一下，你有一个超级长的故事要讲，一口气从头讲到尾可太难啦，而且很容易把自己绕晕。这时候呢，截断的 BPTT 就像把这个长故事分成一小段一小段来讲。在循环神经网络训练那些长长的序列数据的时候，如果直接像个“愣头青”一样用传统方法，那计算量会大得吓人，还可能出现梯度消失或者爆炸的情况，就像烟花放一半突然熄火或者炸得不可收拾。
【深度学习与NLP】——深度卷积神经网络AlexNet
lingxw的博客
08-27 1028
AlexNet 的出现极大地推动了深度学习在计算机视觉领域的发展。它证明了深度神经网络在图像识别等任务上的强大能力，为后续的研究提供了重要的参考和启示。此后，各种深度神经网络架构不断涌现，性能也不断提升。总之，AlexNet 是深度学习发展历程中的一个重要里程碑，它的创新之处和优异性能对计算机视觉领域产生了深远的影响。
【王树森】RNN模型与NLP应用(2/9)：文本处理与词嵌入（个人向笔记）
hxdxiaoming的博客
08-29 671
本次课将使用下列数据集：关于电影评价的数据集。
深度学习(二)
最新发布
小泽爱刷题的博客
08-31 739
CUDA是一种并行计算的编程模型，提供了开发者利用GPU的工具和接口，适用于各种需要并行处理的应用程序。CuDNN是一个专门的加速库，建立在CUDA的基础上，针对深度学习中的神经网络操作进行了专门的优化，从而大幅提升计算效率。两者的结合，使得深度学习和其他计算密集型任务在GPU上能够以更快的速度、更高的效率完成Dataset：继承Dataset可以让你自定义如何获取和处理数据。这在处理复杂的数据集时非常有用，例如当数据需要从多个文件加载、进行特殊的预处理或处理非标准格式的数据时。DataLoader。
【王树森】RNN模型与NLP应用(1/9)：数据处理基础（个人向笔记）
hxdxiaoming的博客
08-29 192
为什么国籍要用One-Hot编码而不是直接用数字编码更节省存储空间？
Unet改进13：添加RepVGG||减少冗余计算和同时存储访问
m0_51530640的博客
08-31 113
我们提出了一种简单但功能强大的卷积神经网络结构，该结构具有类似vgg的推理时间主体，仅由3 × 3卷积和ReLU堆栈组成，而训练时间模型具有多分支拓扑结构。通过结构重参数化技术实现训练时间和推理时间结构的解耦，将模型命名为RepVGG。在ImageNet上，RepVGG达到了80%以上的top-1精度，据我们所知，这是第一次对一个普通模型。
深度学习（DL）算法分分类
m0_46171719的博客
08-28 471
深度学习（DL）算法是机器学习的一个子集，专注于使用深度神经网络（DNN）来模拟人脑的学习过程，从而解决复杂的数据处理和模式识别问题。
深度学习100问28:什么是RNNLM(RNN语言模型）
yyq916的博客
08-31 184
它有一个像魔法盒子一样的结构，由输入层、隐藏层和输出层组成。输入层就像是接收魔法信号的入口，把词的表示，比如一些特别的编码或者词向量给接收进来。隐藏层可神奇啦，它就像有个记忆小口袋，通过循环连接，可以记住前面出现的词呢。这样它就能根据前面的情况来猜下一个词啦。输出层呢，就会给出下一个词的可能概率分布，就好像在告诉你下一个词可能是哪些。在文本生成的时候，它能变出自然流畅的内容来。它的任务呢，就是预测一个句子出现的概率，或者当你给它一些上文的时候，它能猜出下一个词会是啥。简单来说，它就像是一个语言小魔法师。
【机器学习】循环神经网络(RNN)介绍
鑫宝的博客
08-31 1058
循环神经网络(Recurrent Neural Network, RNN)是一种特殊类型的人工神经网络,专门设计用于处理序列数据,如文本、语音、视频等。与传统的前馈神经网络不同,RNN在隐藏层之间引入了循环连接,使得网络能够捕捉序列数据中的动态行为和时间依赖性。上图展示了一个简单的RNN结构,其中xtx_txt​表示时间步ttt的输入,hth_tht​表示时间步ttt的隐藏状态,oto_tot​表示时间步ttt的输出。可以看到,隐藏状态hth_tht​。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小白学视觉

您的赞赏是我们坚持下去的动力~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值