Diffusion 加速系列之二|Consistency Models

最新推荐文章于 2024-07-13 10:55:52 发布
最新推荐文章于 2024-07-13 10:55:52 发布
阅读量762 收藏 9
点赞数 5
文章标签： AIGC
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/l1498487239/article/details/139726459
版权

1.Ref

  • https://arxiv.org/pdf/2303.01469

  • https://zeqiang-lai.github.io/blog/posts/ai/consistency_model/

  • https://kevinng77.github.io/posts/notes/articles/%E7%AC%94%E8%AE%B0speed_sd.html#cm-lcm-lcm-lora

  • https://wrong.wang/blog/20231111-consistency-is-all-you-need/

  • https://blog.csdn.net/weixin_54338498/article/details/130174582

2. Consistency Models（CM）

  A. DM multi-step denoising

        特别消耗计算资源，所以模型的加速需求是比较强烈的。

  B. DM 优化方案

  • 剪枝策略：通用剪枝策略 diff-pruning，在多步 model 采用统一的剪枝策略。

  • Handcraft Arch

  • Block-wise pruning：DeepCach

最低0.47元/天 解锁文章
AI-Seeker
关注
从Diffusion Model到score-based generative models再到Consistency Models的介绍
zik的博客
05-28 576
从Diffusion Model到score-based generative models再到Consistency Models的介绍
【Consistency Models】复现指导以及效果分析。
zik的博客
05-08 2804
总的来说，Consistency Models速度的确特别快，也真的是一步成图，或许以后能够替代Diffusion Model火起来？
Consistency Models
singxsy的博客
04-23 1535
图像编辑等假设存在一个函数f，对于同一条PF ODE轨迹上的任意点都有相同的输出fxttfxt′t′for alltt′∈ϵTfxt​tfxt′​t′for alltt′∈ϵTconsistency model的目标是从数据中估计一致性函数fff，来迫使self-consistency性质。
内存一致性模型(Memory Consistency Models)
kouriba
07-13 442
原文地址：内存一致性模型(Memory Consistency Models)作者：digdeep126 译注：计算机早已进入了多核时代，多核时代要求程序员能够编写并行的程序来充分发挥多处理器的功效。而编写并行/并发程序必须要对内存模型有所了解。因此本人特翻译了一篇有关内存模型综述性质的文章。初次翻译文章，错误在所难免，还望指教。原文地址：http://www.cs.nm...
从DDPM到score-based generative models再到Consistency Models的介绍
05-28
本文将深入探讨从DDPM（Diffusion Probabilistic Models）到Score-based Generative Models再到Consistency Models的发展历程，以及它们在人工智能领域的应用。首先，我们来看看DDPM。 DDPM（Diffusion ...
【终结扩散模型】Consistency Models.OpenAI开源新模型代码，一步成图，1秒18张
zik的博客
04-15 2841
在 AI 画图的领域，人们一直关注的是扩散模型，人们一直在尝试不断改进，推出了 Stable Diffusion、Midjourney、DALL-E 等技术，并在其基础上构建应用。不过最近，OpenAI 提出的全新生成模型看起来要让这一领域经历一场革命。作者阵容也非常强大，有本科毕业于清华大学数理基础科学班、目前在 OpenAI 担任研究员的宋飏。
【论文阅读】Consistency Models
上总介的博客
01-14 1834
Consistency Models
图像生成：Consistency Models（一致性模型）
WiSirius的博客
11-28 3497
扩散模型在图像、音频和视频生成方面取得了重大突破，但它们依赖于迭代生成过程，导致采样速度较慢，限制了其实时应用的潜力。为了克服这一限制，我们提出了一致性模型，这是一种新的生成模型家族，可以在没有对抗性训练的情况下实现高样本质量。它们在设计上支持快速的一步生成，同时仍然允许少步采样以换取样本质量的计算。它们还支持零样本数据编辑，如图像修补、着色和超分辨率，而不需要对这些任务进行明确的训练。在SD中，
Consistency Models 阅读笔记
icylling的专栏
11-18 972
Consistency models可以直接一步采样就生成图片，但是也允许进行多步采样来提高生成的质量。 Consistency models可以从预训练的扩散模型蒸馏得到，也可以作为独立的生成模型从头训练得到。
深度学习（生成式模型）—— Consistency Models
菜到怀疑人生的博客
02-04 3661
Diffusion model需要多次推断才能生成最终的图像，这将耗费大量的计算资源。前几篇博客我们已经介绍了加速Diffusion model生成图像速率的DDIM和Stable Diffusion，本节将介绍最近大火的Consistency Models（代表模型：Dalle-3），其允许Diffusion model仅经过一次推断就生成最终的图像，同时也允许少量多次推断来生成最终的图像。
Consistency Models一步生成模型
weixin_44708254的博客
04-16 341
宋飏博士团队在今年基于diffusion与score-based SDE推出了一步生成的模型——Consistency Models。这是大佬的官方repo。
超详细！！！一文理解Consistency models
m0_58969377的博客
07-13 2089
本文的动机是提出一种能够直接将噪声映射到数据的模型，实现快速的一步生成，同时保留多步采样的能力，以便在需要时通过增加计算量来提升样本质量。最终，一致性模型可以实现快速的单步生成，同时保留多步采样的灵活性和高质量样本生成的能力。：使用数值ODE求解器和预训练的扩散模型生成PF ODE轨迹上的相邻点对，通过最小化这些点对的输出差异，将扩散模型的知识蒸馏到一致性模型中。：生成PF ODE轨迹上的相邻点对，通过最小化这些点对输出的差异，将扩散模型蒸馏为一致性模型，实现高质量的单步生成。
Consistency Models终结扩散模型
qq_41146932的博客
08-22 541
扩散模型在图像、音频和视频生成方面取得了重大突破，但它们依赖于迭代生成过程，导致采样速度较慢，限制了其实时应用的潜力。为了克服这一限制，我们提出了一致性模型，这是一种新的生成模型家族，可以在没有对抗性训练的情况下实现高样本质量。它们在设计上支持快速的一步生成，同时仍然允许少步采样以换取样本质量的计算。它们还支持零样本数据编辑，如图像修补、着色和超分辨率，而不需要对这些任务进行明确的训练。我们的目标是创建生成模型，以促进高效的单步生成，而不牺牲迭代细化的重要优势。
文生图中从扩散模型到流匹配的演变：从SDXL到Stable Diffusion3(含Flow Matching和Rectified Flow的详解)
结构之法 算法之道
02-27 9791
关于我为何关注到这个一致性模型，说来话长啊，历程如下AI绘画原理解析：从CLIP、BLIP到DALLE、DALLE 2、DALLE 3、Stable Diffusion在精读DALLE 3的论文时，发现其解码器用到了Consistency Models当然，后来OpenAI首届开发者大会还正式发布了这个模型，让我对它越发好奇Consistency Models的第一作者宋飏也证实了该模型是DALLE 3的解码器。
Stable Diffusion扩散模型 + Consistency一致性模型
ZhengrongYue的博客
04-15 6458
Stable Diffusion扩散模型
【AI绘画】Stable Diffusion扩散模型 + Consistency一致性模型 小白必看！！！！！
不定期分享ai绘画相关知识~
02-01 1628
扩散模型是怎么工作的？一个固定不含参（或预定义）的前向扩散过程 q q q ，这个前向过程 q ( x T ∣ x 0 ) = N ( x t;at​ˉ​ ​x0​,(1−at​ˉ​)I) 会逐渐向图像添加高斯噪声 z t z_t zt​，直到你最终得到纯噪声。一个通过学习得到的。
Stable Video Diffusion
最新发布
01-09
### Stable Video Diffusion Implementation and Techniques In the context of video processing within computer vision, stable video diffusion refers to methods that ensure consistency across frames while performing tasks such as denoising or pose estimation. For instance, VIBE (Video Inference for Human Body Pose and Shape Estimation) employs a robust approach combining temporal smoothing with spatial refinement to achieve stability over time[^1]. #### Temporal Smoothing Temporal smoothing is crucial for maintaining consistent estimations throughout consecutive frames. This technique leverages information from neighboring frames to refine current frame predictions. Specifically, algorithms like Kalman filters can be utilized where prediction updates are made based on previous states. ```python import numpy as np def kalman_filter(x, P, measurement): """ Simple example of applying Kalman filter. :param x: State estimate vector :param P: Estimate covariance matrix :param measurement: Current measurement value """ H = np.eye(len(x)) # Measurement function R = np.eye(len(measurement)) * 0.1 # Measurement noise y = measurement - np.dot(H, x) S = np.dot(np.dot(H, P), H.T) + R K = np.dot(np.dot(P, H.T), np.linalg.inv(S)) x = x + np.dot(K, y) I = np.eye(len(x)) P = np.dot((I - np.dot(K, H)), P) return x, P ``` #### Spatial Refinement Spatial refinement focuses on enhancing local details by considering pixel-level relationships within individual frames. Convolutional neural networks (CNNs) play an essential role here due to their ability to capture hierarchical patterns effectively. By integrating CNN-based models into pipelines, more accurate feature extraction becomes possible leading to improved overall performance. For both aspects mentioned above, it's important to note how they contribute towards achieving stable results when dealing with dynamic scenes involving human body movements captured through videos.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值