扩散模型
文章平均质量分 91
爱数学的小考拉
这个作者很懒,什么都没留下…
展开
-
超详细!!!一文理解Consistency models
本文的动机是提出一种能够直接将噪声映射到数据的模型,实现快速的一步生成,同时保留多步采样的能力,以便在需要时通过增加计算量来提升样本质量。最终,一致性模型可以实现快速的单步生成,同时保留多步采样的灵活性和高质量样本生成的能力。:使用数值ODE求解器和预训练的扩散模型生成PF ODE轨迹上的相邻点对,通过最小化这些点对的输出差异,将扩散模型的知识蒸馏到一致性模型中。:生成PF ODE轨迹上的相邻点对,通过最小化这些点对输出的差异,将扩散模型蒸馏为一致性模型,实现高质量的单步生成。原创 2024-07-13 10:55:52 · 615 阅读 · 0 评论 -
超详细!!!一文理解High-Resolution Image Synthesis with Latent Diffusion Models
图像合成是计算机视觉领域内快速发展且计算需求巨大的一个分支。扩散模型(DM)通过将图像形成过程分解为一系列去噪自编码器的应用,已经在图像数据及其他领域的合成上达到了最先进水平。这些模型的一个独特之处在于其可引导机制,允许在不重新训练的情况下控制图像生成过程。然而,传统上直接在像素空间操作的扩散模型往往需要大量的GPU天数来优化,并且由于序列评估导致推理成本高昂。原创 2024-05-16 10:30:53 · 1291 阅读 · 1 评论 -
超强结合!!!ControlNet+扩散模型
ControlNet架构的目的:为大型预训练的文本到图像扩散模型添加空间条件控制功能。ControlNet的核心设计:锁定已有模型:ControlNet锁定了已经生产就绪的大型扩散模型,意味着这些模型的基本参数不再改变。重用编码层:使用这些模型已预训练的深层和稳健的编码层作为学习多样化条件控制的强大基础。特殊技术—零卷积:使用“零卷积”(即参数从零开始逐步增长的卷积层),以确保训练过程中不引入有害噪声,保护模型在微调过程中的稳定性。原创 2024-05-10 16:25:24 · 1014 阅读 · 1 评论 -
超新思路!!!基于扩散模型的单目深度估计和光流法
DDVM扩散模型在图像生成中的革新:高保真度和多样性:扩散模型已经在图像生成领域实现了高保真度和多样性,这表明它们可以生成接近真实世界的高质量图像。扩展到新的视觉任务:光流和单目深度估计:研究人员展示了这些模型在估计光流和单目深度方面的出色性能,这是计算机视觉中的两个重要任务。无需特定架构和损失函数:与传统方法不同,这些成果是在没有使用为这些任务专门设计的架构和损失函数的情况下实现的,显示了模型的通用性和强大能力。原创 2024-05-02 08:35:35 · 127 阅读 · 2 评论 -
谷歌最新发布!!!单目深度估计提高泛化性能文章---Zero-Shot Metric Depth with a Field-of-View Conditioned Diffusion Model
单目深度估计提高泛化性能新SOTA。不同场景的RGB和深度分布差异问题:问题描述: 室内和室外场景在RGB颜色和深度(距离)的分布上有很大差异,这使得使用统一的模型来处理这两种场景变得困难。解决策略: 文章提出使用对数尺度深度参数化,这种方法可以更好地处理不同深度尺度的变化,从而使模型能够适应室内外不同场景的深度分布。未知相机内参引起的深度尺度不确定性问题:问题描述: 在没有相机内部参数(如焦距和光圈大小)的情况下,估计出的深度尺度可能会出现偏差,这会影响深度估计的准确性。原创 2024-04-23 09:19:43 · 1321 阅读 · 1 评论 -
超详细!!扩散模型基本原理讲解,一文搞懂扩散模型
扩散模型是一类基于概率的生成模型,它通过模拟数据从有序状态逐渐转变为随机噪声的过程,并通过学习逆向过程逐步还原出原始数据。这一模型框架特别适用于处理复杂的图像和音频生成任务,因其能够在生成高质量样本的同时,精确控制生成过程中的噪声水平。在实际应用中,扩散模型被广泛用于图像去噪、超分辨率、以及条件图像合成等多种计算机视觉和音频处理领域。其核心优势在于能够捕捉复杂的数据分布并生成具有高度细节和逼真度的结果。原创 2024-04-22 15:37:44 · 3478 阅读 · 1 评论