classifier guided diffusion【公式加代码实战】Diffusion Models Beat GANs on Image Synthesis

已于 2023-04-03 10:42:45 修改
阅读量2.2k 收藏 6
点赞数 3
分类专栏： 扩散模型CV与NLP从入门到项目实战 文章标签： 机器学习 深度学习 python 扩散模型 guided DDPM
于 2023-03-25 19:57:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45934285/article/details/129744713
版权

classifier guided diffusion【公式加代码实战】Diffusion Models Beat GANs on Image Synthesis

一、前言

代码地址：https://github.com/openai/guided-diffusion
论文地址：https://arxiv.org/abs/2105.05233

二、训练的优化

参考https://blog.csdn.net/qq_45934285/article/details/129342977其实就是Improved DDPM的一些优化。

  1. betas有两种类型"linear"和"cosine"其中cosine类型是优化的。
    在这里插入图片描述在这里插入图片描述
  2. 学习方差，即上界和下界的一个插值
    在这里插入图片描述
    学习方差的代码：

                

                
                
        

        

        

    




        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
                
                    
                    超级会员免费看
                
            

            
            
            
        

    

      

        

            

              
                
                  旋转的油纸伞
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                    3
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    6
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
                
  • 
                  
                    打赏
                    
                  
                  
    打赏
    
                
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          

                

                        订阅专栏
                










                



	

		

			

				
					
diffusion model（三）—— classifier guided diffusion model

				
			

			

				

					weixin_40779727的博客
				

				

					06-26
					
					1610
					
				

			

		

		

			
				
classifier guided diffusion model
背景
对于一般的DM（如DDPM， DDIM）的采样过程是直接从一个噪声分布，通过不断采样来生成图片。但这个方法生成的图片类别是随机的，如何生成特定类别的图片呢？这就是classifier guide需要解决的问题。
方法大意
为了实现带类别标签yyy的DM的推导，进行了以下定义
q^(x0):=q(x0)q^(y∣x0):=Know labels per sampleq^(xt+1∣xt,y):=q(xt+1

			
		

	



                

              
                



	

		

			

				
					
Classifier Guided Diffusion

				
			

			

				

					andy dennis的博客
				

				

					12-23
					
					4361
					
				

			

		

		

			
				
上次已经学习了open AI的 DDPM(. 这次来看openAI的另一个作品。), 以及 斯坦福的 DDIM。这次来看一篇扩散模型超越GAN的一篇经典之作。

			
		

	



                


  
              

                


	

		

			

				
					
DiffusionModel-Classifier Guidance《Diffusion Models Beat GANs on Image Synthesis》分类器引导原理＋核心代码解读

					
最新发布

				
			

			

				

					hflexxx的博客！喜欢的话点个关注！
				

				

					05-15
					
					1173
					
				

			

		

		

			
				
Glassifier Guidance指导！guided diffusion model 论文+原理+核心代码详细推导＋解读！

			
		

	





	

		

			

				
					
guided-diffusion

				
			

			

				

					08-05
				

			

		

		

			
				
引导扩散
这是的代码库。
 该存储库基于 ，并针对分类器调节和架构改进进行了修改。
下载预训练模型
我们已经发布了论文中主要模型的检查点。 在使用这些型号之前，请查看相应的以了解这些型号的预期用途和限制。
 以下是每个模型检查点的下载链接：
 64x64 分类器：
 64x64 扩散：
 128x128 分类器：
 128x128 扩散：
 256x256 分类器：
 256x256 扩散：
 256x256 扩散（非类条件）：
 512x512 分类器：
 512x512 扩散：
 64x64 -> 256x256 上采样器：
 128x128 -> 512x512 上采样器：
 LSUN 卧室： lsun_bedroom.pt
 LSUN猫： lsun_cat.pt
 LSUN 马： lsun_horse.pt
 LSUN 马（无辍学）： lsun_horse_nodropout.pt

			
		

	



		

			
		



	

		

			

				
					
guidance diffusion 代码阅读笔记

				
			

			

				

					qq_45747799的博客
				

				

					10-25
					
					945
					
				

			

		

		

			
				
后验均值系数的计算：这些系数用于计算模型的后验均值。具体来说，posterior_mean_coef1是beta值乘以np.sqrt(self.alphas_cumprod_prev)除以(1.0 - self.alphas_cumprod)，posterior_mean_coef2是(1.0 - self.alphas_cumprod_prev)乘以np.sqrt(alphas)除以(1.0 - self.alphas_cumprod)。这些系数可以用于计算模型的后验均值。就是这俩系数。

			
		

	





	

		

			

				
					
Guided Diffusion/Diffusion Models Beat GANs on Image Synthesis (Paper reading)

				
			

			

				

					qq_43800752的博客
				

				

					01-05
					
					2482
					
				

			

		

		

			
				
对于条件图像合成，我们通过分类器指导进一步提高样本质量：一种简单、计算效率高的方法，使用分类器的梯度来权衡样本质量的多样性。我们在 ImageNet 128×128 上实现了 2.97 的 FID，在 ImageNet 256×256 上实现了 4.59，在 ImageNet 512×512 上实现了 7.72。即使每个样本只有 25 次前向传播，我们也能匹配 BigGAN-deep，同时保持更好的分布覆盖。

			
		

	





	

		

			

				
					
论文阅读之 Diffusion Models Beat GANs on Image Synthesis

				
			

			

				

					qq_46401672的博客
				

				

					09-20
					
					3224
					
				

			

		

		

			
				
论文阅读： Diffusion Models Beat GANs on Image Synthesis

			
		

	





	

		

			

				
					
【扩散模型】6、Diffusion models beat GAN | 使用类别引导图像生成扩散模型首次超越 GAN 得分

				
			

			

				

					呆呆的猫的博客
				

				

					11-06
					
					1529
					
				

			

		

		

			
				
本文主要介绍 diffusion model beats gan

			
		

	





	

		

			

				
					
Diffusion Models Beat GANs on Image Synthesis.pdf

				
			

			

				

					05-18
				

			

		

		

			
				
"Diffusion Models Beat GANs on Image Synthesis"  Diffusion 模型在图像合成方面超越了 GAN  近年来，生成模型已经能够生成人类似的自然语言、无限高质量合成图像和多样化的人类演讲和音乐。这些模型可以用于生成...

			
		

	





	

		

			

				
					
Classifier-Free Diffusion Guidance.pdf

				
			

			

				

					05-18
				

			

		

		

			
				
"Classifier-Free Diffusion Guidance"  本文讨论了一种新的技术，称为Classifier-Free Diffusion Guidance（无分类器扩散指导），用于在条件扩散模型中贸易mode coverage和sample fidelity。这种技术不同于传统的...

			
		

	





	

		

			

				
					
New folder (4)_imageclassifier_

				
			

			

				

					10-04
				

			

		

		

			
				
"New folder (4)_imageclassifier_"这个标题暗示我们讨论的是一个关于图像分类的项目或者研究，其中可能包含了实现图像分类的各种方法和技术。描述中的"image classifier methods and concepts"进一步确认了这一点，...

			
		

	





	

		

			

				
					
Image-Classifier:硬模型

				
			

			

				

					05-02
				

			

		

		

			
				
**标题解析：** "Image-Classifier:硬模型" 指的是一种用于图像识别的模型，其中“硬模型”可能是指使用预定义的、固定的模型结构，如VGG16，这种模型通常在大量数据上预先训练过，具有较强的图像特征提取能力。...

			
		

	





	

		

			

				
					
Image-Classifier-TensorFlow:使用深度学习实现图像分类应用

				
			

			

				

					05-26
				

			

		

		

			
				
在这个项目中，我们将首先为使用TensorFlow构建的图像分类器开发代码，然后将其转换为命令行应用程序。  我们将使用来自牛津大学的102个花卉类别的。 该项目的数据非常大-实际上，数据非常大，您无法将其上传到...

			
		

	





	

		

			

				
					
8、Diffusion Models Beat GANs on Image Synthesis

				
			

			

				

					小白的博客
				

				

					03-17
					
					2349
					
				

			

		

		

			
				
diffusion

			
		

	





	

		

			

				
					
Diffusion models代码解读：入门与实战

					
热门推荐

				
			

			

				

					沉迷单车的追风少年
				

				

					09-24
					
					1万+
					
				

			

		

		

			
				
Diffusion models代码解读：系列文章汇总导航

			
		

	





	

		

			

				
					
探秘Guided Diffusion：基于深度学习的图像生成新星

				
			

			

				

					gitblog_00055的博客
				

				

					03-21
					
					781
					
				

			

		

		

			
				
探秘Guided Diffusion：基于深度学习的图像生成新星
项目地址:https://gitcode.com/openai/guided-diffusion

项目简介
Guided Diffusion 是由OpenAI团队开源的一款强大的深度学习模型，它致力于实现高质量、可控的图像生成任务。该项目基于扩散模型（Diffusion Models），并引入了指导机制，允许用户通过简单的草图或颜...

			
		

	





	

		

			

				
					
diffusion model（四）文生图diffusion model（classifier-free guided）

				
			

			

				

					weixin_40779727的博客
				

				

					07-11
					
					4680
					
				

			

		

		

			
				
在classifier-guided这篇博客我们提到对于一般的DM（如DDPM， DDIM）的采样过程是直接从一个噪声分布，通过不断采样来生成图片。但这个方法生成的图片类别是随机的，classifier-guided通过额外训练一个分类器来不断矫正每一个时间步的生成图片，最终实现特定类别图片的生成。

Classifier-free的核心思路是：我们无需训练额外的分类器，直接训练带类别信息的噪声预测模型来实现特定类别图片的生成.

			
		

	





	

		

			

				
					
diffusion model classifier-guided与classifier-free的区别

				
			

			

				

					weixin_40779727的博客
				

				

					08-17
					
					758
					
				

			

		

		

			
				
需要重新训练diffusion model，训练成本较大。stable diffusion 在Laion5B用了256张A100训练15w 机时，一般公司无法承担如此大的训练成本。只需训练diffusion model ，但该diffusion model有一个语义输入。生成过程每一个时间步的生成需要将语义embedding也输入到diffusion model中，详细可参考。不用重新训练diffusion model就能引导朝向期望类别的图片生成。只能生成特定类别的图片，无法实现语义级别的生成。

			
		

	





	

		

			

				
					
4种feature classification在代码的实现上是怎么样的？Linear / MLP / CNN / Attention-Based Heads

				
			

			

				

					简单记录生活、学习
				

				

					12-24
					
					451
					
				

			

		

		

			
				
具体的分类效果可以看：【Arxiv 2023】Diffusion Models Beat GANs on Image Classification

1、线性分类器 (Linear, A)

使用一个简单的线性层，通常与一个激活函数结合使用。


import torch.nn as nn

class LinearClassifier(nn.Module):
    def __init__(self, input_size, num_classes):
        super(LinearClass

			
		

	





	

		

			

				
					
conditional GANs pytorch 

				
			

			

				

					08-23
				

			

		

		

			
				
条件GAN（Conditional GANs）是一种生成对抗网络（GAN）的变体，它通过给生成器和鉴别器提供额外的条件信息来改进生成过程。在PyTorch中实现条件GANs时，需要对生成器和判别器的结构进行修改。

引用中给出了生成器的具体实现。生成器接收两个输入：一个是噪声向量x，一个是条件向量c。首先，将x通过线性层进行处理，得到一个大小为128x7x7的张量。然后，将x和c通过cat操作在channels方向上进行合并，形成一个大小为256x7x7的张量。最后，通过三次转置卷积操作将张量的尺寸逐渐放大，最终生成一个大小为1x28x28的图像。

引用中给出了判别器的具体实现。判别器接收两个输入：一个是真实图像x，一个是条件向量c。首先，将c通过线性层进行处理，得到一个大小为1x28x28的张量。然后，将x和c通过cat操作在channels方向上进行合并，形成一个大小为2x28x28的张量。接下来，通过卷积层、LeakyReLU激活函数和Dropout层对张量进行处理。最后，将张量展平后通过全连接层得到一个概率值，表示输入图像为真实图像的概率。

通过以上改进，条件GANs可以在生成过程中根据给定的条件生成特定的图像。这种结构可以应用于各种任务，如图像生成、图像修复和图像转换等。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
-  *1* *2* [Conditional GAN代码实现（Pytorch）](https://blog.csdn.net/weixin_40330033/article/details/127212518)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"]
-  *3* [pytorch-GANs:我对各种GAN（生成对抗网络）架构的实现，例如香草GAN（Goodfellow等），cGAN（Mirza等），...](https://download.csdn.net/download/weixin_42116701/15910571)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"]
[ .reference_list ]

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
旋转的油纸伞

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值