大家好,今天和大家分享几篇最新的工作
1、VividDreamer
VividDreamer 是一个兼顾高质量和效率的文本生成3D资产的算法。更加具体来说就是,通过输入一句话,例如下图左上角的图片:输入 “A zoomed out DSLR photo of a corgi wearing a top hat” (戴着高顶礼帽的柯基犬的缩小照片),生成柯基的3D模型。
实现思路:
VividDreamer 的整体框架:
1、使用预训练的 Point-E(3D点云)和文本prompt初始化,并使用 3D Gaussian Splatting (3DGS) 作为 3D 表征
2、在训练中,给定一个相机姿势 c,通过 3DGS 的渲染管道渲染相应的视图,并使用 DDPM/DDIM 反演将其扰乱为 2D 扩散模型 (扩散过程)
3、采用提出的姿势相关一致性蒸馏采样 (PCDS),通过几步(1-3)采样,将噪声映射到伪GT(例如 去噪后的图片)
4、计算渲染视图和伪GT 之间的均方误差 (MSE) 损失 LP CDS,并通过等式中的梯度更新 3D 高斯参数
对比不同的梯度目标:
(a)True Gradient 是一项耗时的工作,需要在每次迭代中进行完整的去噪采样。
(b)为了加速,分数蒸馏采样 (SDS) 使用 1 步 DDPM 采样将噪声直接映射到数据,即伪 GT,但由于 DDPM 带来的内在随机性,SDS 难以获得准确的梯度。
(c)PCDS 在扩散轨迹内从任何时间步 t 到原点 0 构建姿势相关一致性函数 fϕ,从而允许生成准确的伪 GT 并通过最少的采样步数 (1∼3) 获取精确的梯度。
论文和项目地址:
https://narcissusex.github.io/VividDreamer/
https://arxiv.org/abs/2406.14964
https://github.com/NarcissusEx/VividDreamer
2、MaX4Zero
MaX4Zero 在开放场景执行虚拟试穿(针对看不见的目标图像和服装),无需任何微调。
给定目标图像(上)和服装图像(下),使用基于扩散的先验生成图像,将输入服装替换为目标中已穿着的服装(右)。
实现思路:
顶部:初始配准阶段,使用从两幅图像中提取的深度特征将参考服装扭曲以匹配目标人物 。目标服装和扭曲服装之间的剩余间隙由边缘分配模块填充。底部:一致修复阶段,利用mask扩展注意力机制通过基于笔触的修复来传输参考精细细节。
更多测试效果:
论文和项目地址:
https://arxiv.org/pdf/2406.15331
https://nadavorzech.github.io/max4zero.github.io/
3、Stylebreeder
Stylebreeder 是一个全面的数据集,包含 680 万张图像和 180 万条prompt。可以利用该数据集引入了一系列任务,旨在识别不同的艺术风格、生成个性化内容并根据用户兴趣推荐风格。
探索不同的艺术风格
使用最先进的特征提取器 CSD 将图像转换为一组style embeddings。然后使用 K-Means++ 算法将这些嵌入聚类成组,该算法利用余弦相似性来确保聚类内的内聚性。
基于风格的个性化图像生成
使用这些已发现风格的图像集群来微调 LoRA 模型,使其能够生成具有相似风格的新图像。
使用图像簇作为风格,可以为每个用户建模他们喜欢的风格。使用基于矩阵分解的方法,我们开发了一个推荐系统来提出用户以前未生成图像的新样式。
论文和项目地址:
https://stylebreeder.github.io/
https://arxiv.org/pdf/2406.14599
以上就是今天分享的最新成果,如果对大家有帮助,希望能帮忙点赞转发一波,感谢各位小伙伴!!!
课程推荐
对于发论文需求但是又担心课程质量,怕被割的小伙伴,可以了解一下哈
下面是主攻的论文方向和往期学生的一些反馈,内容真实可靠,有兴趣的小伙伴可以扫描最下面的二维码了解!!!
涉及方向
往期学员真实反馈: