【ICLR 2023】详细解读DreamFusion：用二维diffusion models完成三维生成任务

最新推荐文章于 2024-02-27 13:56:43 发布
最新推荐文章于 2024-02-27 13:56:43 发布
阅读量4k 收藏 9
点赞数 5
分类专栏： Diffusion Models与深度学习 文章标签： 人工智能 扩散模型 DDIM DDPM diffusion model
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41895747/article/details/127701956
版权

Diffusion Models专栏文章汇总：入门与实战

前言：ICLR 2023的第一轮rebuttal已经放榜，这次的ICLR出现了非常多的diffusion models论文，很多工作都非常有创意，值得详细解读。这篇要介绍的是google研究院出品的DreamFusion，这个工作取得了所有审稿人的accept肯定，无论是论文还是实验效果都非常优秀，能够出色地使用现在的预训练2D text-to-image完成3D text-to-3D任务。

目录

最高的diffusion models得分

​编辑

了解本专栏 订阅专栏 解锁全文 超级会员免费看
沉迷单车的追风少年
关注
  • 5
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 4
    评论
专栏目录
订阅专栏
GeneFace_广义高保真三维人脸合成ICLR 2023;正式的代码.zip
02-07
GeneFace_广义高保真三维人脸合成ICLR 2023;正式的代码.zip
算法笔记 DreamFusion: text to 3D using 2D diffusion
Sapphireee的博客
12-27 2001
前不久Google Research在Dreamfields-3D基础上做了改进，发布了新成果DreamFusion，让生成模型的形态、颜色、光线、密度有巨大的飞跃，虽然 DreamFusion 还未开放使用，但项目网站提供了生成画廊：[DreamFusion预览地址](https://dreamfusion3d.github.io/index.html)。
[论文解析]DREAMFUSION: TEXT-TO-3D USING 2D DIFFUSION
Joselynzhao
12-11 5732
为了从文本合成一个场景，我们初始化一个具有随机权重的NeRF类模型，然后从随机的摄像机位置和角度重复渲染该NeRF的视图，使用这些渲染作为封装在Imagen周围的得分提取损失函数的输入。相反，我们的MLP参数化了表面本身的颜色，然后通过我们控制的照明来照亮它(这个过程通常称为“着色”)。和Dreamfields的不同：我们采用了类似于Dream Fields的方法，但将CLIP替换为2D扩散模型蒸馏产生的损失。我们的工作建立在文本到图像的扩散模型上，在文本嵌入y的基础上学习。
ICLR2023文章分享——嵌入式傅里叶增强低照度图像
最新发布
Lynxse的博客
02-27 465
整个网络结构如下，大致分为两部分，LRNet即低分辨率处理网络，HRNet，高分辨率处理网络，LRNet部分包含四个FouSpa块，它占据了整个网络绝大部分的计算量，因此用双线性插值将特征下采样到原始分辨率的1/8。经过FouSpa后的特征送入FFT，分别得到振幅Ar和相位Pr的特征，同时Conv卷积整流特征，得到低分结果 H/8×W/8×C。该块用于在傅里叶域和空间域中并行执行增强，在傅里叶域中执行相位/振幅增强，空间域中执行特征增强。空间域分支主要进行卷积操作，以模拟空间域的结构依赖性。
【2023.07.10-07.11】DreamFusion方法内容
FridaNN的博客
07-11 512
查询场景的NeRF得到渲染的颜色, 用另一个MLP以位置编码后的光线为输入储存环境颜色。这样避免NeRF场景把距离相机很近的部分都占满了，并且也能在生成的场景前添加效果。这是由于U-Net的Jacobian项计算量大，但是近似计算低噪声时的边缘分布的缩放后的Hessian矩阵会变得病态，难以收敛。（特别的，在渲染过程中，随机将着色率换为纯白，防止模型过拟合生成的3d结果是平面图像）与NeRF的主要差别：先参数化表面的颜色，然后叠加光照。的score matching的目标函数的形式构造。
文字生成3D：谷歌发布DreamFusion，3D版DALL-E！
idol24的博客
10-12 1518
来源：公众号新智元授权【导读】给一个文本提示就能生成3D模型！自从文本引导的图像生成模型火了以后，画家群体迅速扩张，不会用画笔的人也能发挥想象力进行艺术创作。但目前的模型，如DALL-E 2, Imagen等仍然停留在二维创作（即图片），无法生成360度无死角的3D模型。想要直接训练一个text-to-3D的模型非常困难，因为DALL-E 2等模型的训练需要吞噬数十亿个图像-文本对，但三维合成...
DREAMFUSION TEXT-TO-3D USING 2D DIFFUSION 论文笔记
pylittlebrat的博客
03-28 2372
stable diffusion+nerf
[2023.07.09]dreamfusion概述及背景，以及diffusion model相关知识
FridaNN的博客
07-09 840
没有标注的3d数据集，用于去噪3d数据的有效结构的情况下。通常text to 3d的做法使用CLIP+NeRF，本文使用从2d模型中蒸馏出的loss代替CLIP。而使用用2d的扩散模型构造一个类似概率密度蒸馏的损失函数，用于调优2d图像生成器的参数。在类似DeepDream的过程，使用梯度下降优化这个loss随机初始化的3d模型（一个损失函数同时用在两个位置？diffusion model的去噪过程，由于每次去噪都会生成新样本。
80、DREAMFUSION: TEXT-TO-3D USING 2D DIFFUSION
小白的博客
03-13 1650
DREAMFUSION
3D Diffusion模型来了！OpenAI出品，已开源
夕小瑶科技说
12-30 2618
文｜天于刀刀2022年不愧是 AIGC 行业元年。伴随着 ChatGPT 的大火使得谷歌一周之内改口“会认真评估 ChatGPT 对搜索引擎的影响”，OpenAI 在 3D 图像生成领域进一步放出了大招开源项目“Point-E” [1]，可玩程度不下于 ChatGPT！简单来说，用户可以输入一连串文字 prompt 内容，只需要短短 18 秒，模型就会生成一个 3D 点云图！[2]这种快速出图极速...
【ICLR 2023】Diffusion Models扩散模型和Prompt Learning提示学习：prompt-to-prompt
沉迷单车的追风少年
10-16 3763
今年prompt learning提示学习和diffusion models扩散模型实在是太火了，最新的ICLR 2023的一项工作把两者结合了起来，取得了十分惊艳的效果！正好昨天代码刚刚开源，这篇博客就和大家一起解读一下原理与代码！
[ICLR'2023]“LightGCL：用于推荐的简单而有效的图对比学习”_Python_下载.zip
04-23
[ICLR'2023]“LightGCL：用于推荐的简单而有效的图对比学习”_Python_下载.zip
iclr-2021-baynne:ICLR 2021深度学习仿真研讨会论文
04-06
iclr-2021-Baynne ICLR 2021仿真深度学习研讨会论文。 档案文件 main.py：主文件，设置超参数，执行训练，保存模型检查点等 BNN.py：异方差神经网络的类定义 gaussian_nll_loss_class.py：高斯负对数似然损失 ...
co-mod-gan:[ICLR 2021，Spotlight]通过协同调制的生成对抗网络进行大规模图像完成
03-25
通过协同调制的对抗网络进行大规模图像完成，ICLR 2021（聚焦） | [NEW！]是时候玩我们的！ 条件生成对抗网络的许多任务特定变体已经开发出来用于图像完成。 然而，仍然存在严重的局限性，即在处理大规模缺失区域...
natural-adversary:生成自然对抗示例，ICLR 2018
05-18
产生自然对抗的例子ICLR 2018年论文“”的代码。参考 @inproceedings{zhengli2018iclr, title={Generating Natural Adversarial Examples}, author={Zhao, Zhengli and Dua, Dheeru and Singh, Sameer}, booktitle={...
AI画师技术又精进了? AI画师三维版试玩——Dreamfields和DreamFusion向文本生成3D模型领域进发
白洞，白色的明天在等着我们
11-08 7943
自从文本引导的图像生成模型火了以后，画家群体迅速扩张，不会用画笔的人也能发挥想象力进行艺术创作。 那么对于文本生成3D这个新的领域，未来AI用于模型设计辅助的潜力也是值得期待，不仅能帮助画师进行设计，也许还能帮助建模师/设计师进行3D建模、产品设计、学术建模、建筑设计、元宇宙开发等等，潜力无限，为何不现在就开始学习新工具，开始全新的创意探索呢？
ICLR 2023 | 扩散生成模型新方法：极度简化，一步生成
idol24的博客
03-01 697
©作者 |刘星超德州大学奥斯汀分校方向 生成式模型本文编辑paperweeklyDiffusion Generative Models（扩散式生成模型）已经在各种生成式建模任务中大放异彩，但是，其复杂的数学推导却常常让大家望而却步，缓慢的生成速度也极大地阻碍了研究的快速迭代和高效部署。研究过 DDPM 的同学可能见到过这种画风的变分法（Variational Inference）推导（...
智源社区AI周刊No.100：李飞飞等最新文章：社会化人工智能；DreamFusion：Google发布“文本-3D”生成新成果...
BAAIBeijing的博客
09-30 754
汇聚每周AI观点、研究和各类资源，不错过真知灼见和重要资讯！欢迎扫码，关注并订阅智源社区AI周刊。编辑精选1. 斯坦福大学李飞飞等最新文章：社会化人工智能查看详情近日，斯坦福大学计算机系的 Ranjay Krishna、Donsuk Lee、李飞飞、Michael Bernstein 等人针对此问题提出了一种新的研究框架：社会化人工智能（socially situated AI），即智能体通...
新出炉！谷歌AI #DreamFusion 从文本生成3D模型
shadowcz007的博客
10-01 6739
文本生成图像已有了大量模型工具，文本生成3D模型的工具到是很少见。#我记得有一期推文介绍了文本生成数字人模型吧，现在有能生成通用3D模型的工具了？近期谷歌AI 发布了文本生成3D模型— Dreamfusion#赶紧去体验下有多神奇～DreamFusionDreamfusion是Google 的大型AI图像模型 Imagen 与 NeRF 的3D功能相结合。从模型发展脉络上看，Dreamfusi...
请给出MIA，MICCAI，MICCAI，NIPS，CVPR，ICLR在2018到2023年的语义分割方面的高亮工作
05-26
好的，以下是MIA、MICCAI、NIPS、CVPR、ICLR在2018到2023年的语义分割方面的一些高亮工作： 1. MIA：2018年的MIA会议上，一篇名为“Fully Convolutional Networks for Semantic Segmentation”的论文提出了一种基于...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

沉迷单车的追风少年

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值