![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 91
爱数学的小考拉
这个作者很懒,什么都没留下…
展开
-
超详细!!!一文带你理解MosaicFusion: Diffusion Models as Data Augmenters for LargeVocabulary Instance Segmenta
通过在每个区域同时运行扩散过程并使用不同的文本提示,MosaicFusion方法能够在单张图像中生成多个特定位置的对象。这种方法不仅提高了图像生成的多样性和质量,还能有效地扩展实例分割数据集,提升模型的性能。原创 2024-08-20 15:49:39 · 547 阅读 · 0 评论 -
超详细!!!一文理解Consistency models
本文的动机是提出一种能够直接将噪声映射到数据的模型,实现快速的一步生成,同时保留多步采样的能力,以便在需要时通过增加计算量来提升样本质量。最终,一致性模型可以实现快速的单步生成,同时保留多步采样的灵活性和高质量样本生成的能力。:使用数值ODE求解器和预训练的扩散模型生成PF ODE轨迹上的相邻点对,通过最小化这些点对的输出差异,将扩散模型的知识蒸馏到一致性模型中。:生成PF ODE轨迹上的相邻点对,通过最小化这些点对输出的差异,将扩散模型蒸馏为一致性模型,实现高质量的单步生成。原创 2024-07-13 10:55:52 · 702 阅读 · 0 评论 -
超详细!!!一文搞定!单目深度估计MiDas思想Towards Robust Monocular Depth Estimation: Mixing Datasets for Zero-Shot
文献的核心内容主要集中在通过混合多数据集来实现单目深度估计模型的稳健性和泛化能力,解决了单一数据集训练带来的局限性。该研究在理论创新和实验验证上都取得了显著成果,为单目深度估计领域提供了新的思路和方法。原创 2024-06-16 10:15:12 · 3580 阅读 · 1 评论 -
超详细解读!!!SQLdepth: Generalizable Self-Supervised Fine Structured Monocular Depth
例如,模型可以识别出更靠近摄像头的对象和更远离摄像头的对象,并且能够处理这些对象之间的空间关系,从而提供更为精确的深度预测。但在这里,是通过图像与其自身的比较来实现的,由于直接在高分辨率特征图上进行这种计算的计算复杂度非常高(O(h² × w²)),因此采用了一种更高效的方法。对象的建模:对于场景中的对象,使用一种紧凑型的视觉变换器(Vision Transformer, ViT),选择较大的补丁尺寸来提取粗粒度的对象查询。这种方法依赖于图像的梯度,用以判断图像的边缘强度,从而在边缘区域减少正则化的强度。原创 2024-05-20 21:21:07 · 1256 阅读 · 2 评论 -
超详细!!!一文理解High-Resolution Image Synthesis with Latent Diffusion Models
图像合成是计算机视觉领域内快速发展且计算需求巨大的一个分支。扩散模型(DM)通过将图像形成过程分解为一系列去噪自编码器的应用,已经在图像数据及其他领域的合成上达到了最先进水平。这些模型的一个独特之处在于其可引导机制,允许在不重新训练的情况下控制图像生成过程。然而,传统上直接在像素空间操作的扩散模型往往需要大量的GPU天数来优化,并且由于序列评估导致推理成本高昂。原创 2024-05-16 10:30:53 · 1460 阅读 · 1 评论 -
超强结合!!!ControlNet+扩散模型
ControlNet架构的目的:为大型预训练的文本到图像扩散模型添加空间条件控制功能。ControlNet的核心设计:锁定已有模型:ControlNet锁定了已经生产就绪的大型扩散模型,意味着这些模型的基本参数不再改变。重用编码层:使用这些模型已预训练的深层和稳健的编码层作为学习多样化条件控制的强大基础。特殊技术—零卷积:使用“零卷积”(即参数从零开始逐步增长的卷积层),以确保训练过程中不引入有害噪声,保护模型在微调过程中的稳定性。原创 2024-05-10 16:25:24 · 1182 阅读 · 1 评论 -
超新思路!!!基于扩散模型的单目深度估计和光流法
DDVM扩散模型在图像生成中的革新:高保真度和多样性:扩散模型已经在图像生成领域实现了高保真度和多样性,这表明它们可以生成接近真实世界的高质量图像。扩展到新的视觉任务:光流和单目深度估计:研究人员展示了这些模型在估计光流和单目深度方面的出色性能,这是计算机视觉中的两个重要任务。无需特定架构和损失函数:与传统方法不同,这些成果是在没有使用为这些任务专门设计的架构和损失函数的情况下实现的,显示了模型的通用性和强大能力。原创 2024-05-02 08:35:35 · 188 阅读 · 2 评论 -
经典!!单目深度估计方向整理--Digging Into Self-Supervised Monocular Depth Estimation
单目深度估计经典monodepth2。在本文中,我们提出了一系列改进,与竞争的自监督方法相比,这些改进共同导致了定量和定性的深度图改进。自我监督单目训练的研究通常探索越来越复杂的架构,损失函数和图像形成模型,所有这些最近都有助于缩小与全监督方法的差距。我们表明,一个令人惊讶的简单的模型,以及相关的设计选择,导致上级的预测。原创 2024-04-24 14:34:59 · 1509 阅读 · 1 评论 -
谷歌最新发布!!!单目深度估计提高泛化性能文章---Zero-Shot Metric Depth with a Field-of-View Conditioned Diffusion Model
单目深度估计提高泛化性能新SOTA。不同场景的RGB和深度分布差异问题:问题描述: 室内和室外场景在RGB颜色和深度(距离)的分布上有很大差异,这使得使用统一的模型来处理这两种场景变得困难。解决策略: 文章提出使用对数尺度深度参数化,这种方法可以更好地处理不同深度尺度的变化,从而使模型能够适应室内外不同场景的深度分布。未知相机内参引起的深度尺度不确定性问题:问题描述: 在没有相机内部参数(如焦距和光圈大小)的情况下,估计出的深度尺度可能会出现偏差,这会影响深度估计的准确性。原创 2024-04-23 09:19:43 · 1399 阅读 · 1 评论 -
超详细!!扩散模型基本原理讲解,一文搞懂扩散模型
扩散模型是一类基于概率的生成模型,它通过模拟数据从有序状态逐渐转变为随机噪声的过程,并通过学习逆向过程逐步还原出原始数据。这一模型框架特别适用于处理复杂的图像和音频生成任务,因其能够在生成高质量样本的同时,精确控制生成过程中的噪声水平。在实际应用中,扩散模型被广泛用于图像去噪、超分辨率、以及条件图像合成等多种计算机视觉和音频处理领域。其核心优势在于能够捕捉复杂的数据分布并生成具有高度细节和逼真度的结果。原创 2024-04-22 15:37:44 · 4457 阅读 · 1 评论 -
深度学习归一化方法选择(BN,LN,IN,GN)
目前比较受欢迎的数据归一化层有:BN(Batch Normalization),LN(Layer Normalization),IN(Instance Normalization),GN(Group Normalization)这4种。原创 2024-04-17 21:05:24 · 1101 阅读 · 1 评论