使用checkpoint遇到的问题

最新推荐文章于 2024-10-09 10:17:42 发布
最新推荐文章于 2024-10-09 10:17:42 发布
阅读量4.5k 收藏 2
点赞数 2
文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lhx526080338/article/details/127894671
版权
在使用PyTorch的checkpoint功能时，遇到UserWarning提示没有输入变量需要求梯度。问题在于checkpoint应跟随至少一个有梯度的输入。原程序中checkpoint被错误地放在了首位，导致无法进行反向传播。解决方法是确保checkpoint之后的参数至少有一个具有requires_grad=True的属性，以允许计算梯度。
摘要由CSDN通过智能技术生成

使用checkpoint时，警告使用checkpoint时，警告UserWarning: None of the inputs have requires_grad=True. 

原因：使用checkpoint, 不能放在第一个位置, 或者说放在第一个就要传入一个有梯度的, 不然就无法进行反向传播.

原程序： 

 

更改为：
 

 

 
 

即可正常运行 

                

        

        

    

  


    

      

        

            

              
                
                  啵啵菜go
                
              
            

            

                关注
              
            

        

        

          
      

      









                



	

		

			

				
					
OSError Unable to load weights from pytorch checkpoint file for pytorch_model.bin解决方案

				
			

			

				

					weixin_43178406的博客
				

				

					07-07
					
					6万+
					
				

			

		

		

			
				
 本文主要介绍了OSError Unable to load weights from pytorch checkpoint file for pytorch_model-00003-of-00003.bin解决方案，希望能对学习大模型的同学们有所帮助。

文章目录

1. 问题描述
2. 解决方案

			
		

	



                

            
              



	

		

			

				
					
【文生图系列】 Stable Diffusion v1复现教程

				
			

			

				

					陶将的博客
				

				

					06-05
					
					9166
					
				

			

		

		

			
				
stable diffusion是一个潜在的文本到图像的扩散模型，能够在给定任何文本输入的情况下生成照片逼真的图像。本篇博文主要讲述如何复现官方的stable diffusion v1项目。

			
		

	



              


  
              

                


	

		

			

				
					
PyTorch 之 Checkpoint 机制解析

				
			

			

				

					qq_29462849的博客
				

				

					01-09
					
					7235
					
				

			

		

		

			
				
点击上方“计算机视觉工坊”，选择“星标”干货第一时间送达作者丨Lart编辑丨极市平台导读PyTorch 提供了一种非常方便的节省显存的方式，就是 Checkpoint 机制。这篇文章的目...

			
		

	





	

		

			

				
					
使用BERT中文问答系统遇到警告信息UserWarning: None of the inputs have requires_grad=True. Gradients will be None的处置

					
最新发布

				
			

			

				

					weixin_54366286的博客
				

				

					10-09
					
					524
					
				

			

		

		

			
				
使用BERT的中文问答系统当你遇到的警告信息 UserWarning: None of the inputs have requires_grad=True. Gradients will be None 是由 PyTorch 的 torch.utils.checkpoint 模块生成的。这个警告意味着在使用梯度检查点（gradient checkpointing）时，所有的输入张量都没有设置 requires_grad=True，因此不会计算任何梯度。

			
		

	



		

			
		



	

		

			

				
					
快速部署stable diffusion@Ubuntu

				
			

			

				

					skywalk8163的专栏
				

				

					04-22
					
					2511
					
				

			

		

		

			
				
Stable Diffusion可以根据文本描述生成相关的图像，是当前最热门的文生图模型。在Ubuntu下，可以选择快速安装，或者手动一步步安装。

			
		

	





	

		

			

				
					
Pytorch 张量 requires_grad=True，但是梯度为None的情况

				
			

			

				

					FLYXJX的博客
				

				

					11-02
					
					1573
					
				

			

		

		

			
				
将 (5,) 的张量转换为了 (1, 5) 的张量去和 func 进行计算。这个是函数，就是两个个初等函数相加，再加上一个随机数（模拟噪声）。然后用五阶泰勒展开来模拟这条曲线，不了解泰勒展开的同学可以先去了解一下泰勒展开，不用管他的余项是什么，咱关注点不是这个。不是因为view返回了一个形状不同数据相同的张量引起的错误，我 DeBug 的时候看过requires_grad，依然是 True。但是，这不是没有梯度，而是放在了其他的地方。前面的常数就是我们要学习的参数，我出错就是因为这个东西。

			
		

	





	

		

			

				
					
喂饭级stable_diffusion_webUI使用教程

				
			

			

				

					Debug的博客
				

				

					04-12
					
					8786
					
				

			

		

		

			
				
首次启动会自动下载一些 Python 依赖库（具体哪些库请看工程下的 requirements.txt） ，以及项目需要用到的配置和模型文件（比如：v1-5-pruned-emaonly.safetensors，将近 4 个 G~），初始化一次之后，下次启动就快了。：高版本显卡是可以安装低版本的 CUDA 驱动的，比如我也可以安装经典的 10.2 版本，但是安装 11.6 版本可以获得更高的 GPU运行效率，所以一般来说推荐安装显卡支持的最高 CUDA 版本。如未勾选，勾选后点击橙色按钮启用本扩展。

			
		

	





	

		

			

				
					
sparkstreaming使用checkpoint存在的问题及解决方案

				
			

			

				

					04-11
				

			

		

		

			
				
解答：在使用Spark Streaming处理流数据时，为了保证数据的容错性，可以使用checkpoint机制将checkpoint数据存储在可靠的存储系统中（如HDFS），但是在实际使用中可能会遇到以下问题：  1. checkpoint数据太大，导致...

			
		

	





	

		

			

				
					
[Keras] 使用多 gpu 并行训练并使用 ModelCheckpoint() 可能遇到的问题

				
			

			

				

					DexterLei
				

				

					05-18
					
					7268
					
				

			

		

		

			
				
问题描述

在使用 callbacks.ModelCheckpoint() 并进行多 gpu 并行计算时，callbacks 函数会报错：



TypeError: can't pickle ...(different text at different situation) objects

这个错误形式其实跟使用多 gpu 训练时保存模型不当造成的错误比较相似：


  To save th...

			
		

	





	

		

			

				
					
PostgreSQL源码分析——CHECKPOINT

				
			

			

				

					让我思考一下
				

				

					06-18
					
					811
					
				

			

		

		

			
				
在此之前的WAL日志，对应的Buffer中的脏页需要全部刷盘，也就是说，在此位置之前的WAL日志是不需要进行回放的，因为页已经落盘了。关于重做点，重做点其实就是当前WAL日志的插入点，或者说当前WAL日志记录的终点位置，从这个位置开始，之前的所有WAL日志对应的脏页刷盘，然后清理WAL日志，在进行checkpoint的过程中，其实业务是不停的，还会继续源源不断的产生WAL日志，后续产生的WAL日志就是从重做点开始的，而这部分WAL日志对于的脏页并没有被刷盘，所以崩溃恢复时，需要从这个重做点开始进行回放。

			
		

	





	

		

			

				
					
如何检验下载的大模型checkpoint文件是否正确的解决方案

					
热门推荐

				
			

			

				

					weixin_43178406的博客
				

				

					10-22
					
					6万+
					
				

			

		

		

			
				
本文主要介绍了如何检验下载的大模型checkpoint文件是否正确的解决方案，希望能对学习大模型的同学们有所帮助。

文章目录

1. 问题描述
2. 解决方案
  2.1 Windows
  2.2 Linux

			
		

	





	

		

			

				
					
pytorch关于tensor的一些方法

				
			

			

				

					qq_42193790的博客
				

				

					11-17
					
					440
					
				

			

		

		

			
				
pytorch一些方法

			
		

	





	

		

			

				
					
最新超详细macOS系统的stable-diffusion部署安装指南，不看错亿！

				
			

			

				

					m0_71745258的博客
				

				

					05-07
					
					3759
					
				

			

		

		

			
				
随着AI技术不断进步，我们周围越来越多的需求是由AI辅助产出的。为了跟上行业的发展趋势，我们一直在积极进行AI的研究与探索。我知道很多设计同学和我们一样使用苹果设备，他们有兴趣尝试使用stable-diffusion，然而，网上的安装教程复杂繁多，让很多人望而却步。因此，我们特意整理出了一份适用于macOS系统的stable-diffusion部署安装教程，希望能够为大家提供帮助。📌Homerew安装📌Python 安装📌克隆sd-webui 软件包📌导入基础模型。

			
		

	





	

		

			

				
					
【保姆级教程】Linux上部署Stable Diffusion WebUI和LoRA训练，拥有你的专属图片生成模型_stable diffusion linux

				
			

			

				

					月流霜的专栏
				

				

					08-01
					
					114
					
				

			

		

		

			
				
Stable Diffusion 是当前最火热的图像生成模型之一，目前已经广泛应用于艺术创作、游戏开发、设计模拟等领域，因其开源生态和易于使用而受到创作者的广泛关注，相比 Midjourney 而言，其最大的优势是完全免费，且拥有庞大的社区资源。如果需要本地部署 Stable Diffusion，首选 Stable Diffusion Webui。不过本地部署对设备硬件要求还是比较高的，通常需要至少 4G 显存，有关如何在 Windows 上使用，社区已经有了非常不错的一键启动脚本。

			
		

	





	

		

			

				
					
人工智能,丹青圣手,全平台(原生/Docker)构建Stable-Diffusion-Webui的AI绘画库教程(Python3.10/Pytorch1.13.0)

				
			

			

				

					刘悦的技术博客
				

				

					03-03
					
					2598
					
				

			

		

		

			
				
世间无限丹青手，遇上AI画不成。最近一段时间，可能所有人类画师都得发出一句“既生瑜，何生亮”的感叹，因为AI 绘画通用算法Stable Diffusion已然超神，无需美术基础，也不用经年累月的刻苦练习，只需要一台电脑，人人都可以是丹青圣手。

			
		

	





	

		

			

				
					
诚之和:pytorch Variable与Tensor合并后 requires_grad()默认与修改方式

				
			

			

				

					weixin_45378258的博客
				

				

					08-19
					
					554
					
				

			

		

		

			
				
pytorch更新完后Variable与Tensor合并了。现在torch.Tensor()能像Variable一样进行反向传播的更新，返回值为Tensor，Variable自动创建tensor，且返回值为Tensor，（所以以后不需要再用Variable）。Tensor创建后,默认requires_grad=Flase，可以通过xxx.requires_grad_()将默认的Flase修改为True。来看看官方文档是怎么介绍的吧。

下面附代码及官方文档代码：


import torch
from to

			
		

	





	

		

			

				
					
PyTorch 重磅更新，不只是支持 Windows

				
			

			

				

					AI科技大本营
				

				

					04-25
					
					4522
					
				

			

		

		

			
				
翻译 | 林椿眄出品 | AI 科技大本营（公众号ID：rgznai100）这次版本的主要更新一些性能的优化，包括权衡内存计算，提供 Windows 支持，24个基础分布，变量及数据类型，零维张量，张...

			
		

	





	

		

			

				
					
gradients的一些注意点

				
			

			

				

					Javier9201的博客
				

				

					09-05
					
					315
					
				

			

		

		

			
				
Each variable has a [.grad_fn] attribute that references a Function that has created the Variable(except for Variables created by the user their grad_fn is None).
out.backward()=out.backward(tor...

			
		

	





	

		

			

				
					
pytorch Variable与Tensor合并后 requires_grad（）默认与修改

				
			

			

				

					weixin_43635550的博客
				

				

					09-02
					
					8321
					
				

			

		

		

			
				
pytorch更新完后合并了Variable与Tensor
torch.Tensor()能像Variable一样进行反向传播的更新，返回值为Tensor
Variable自动创建tensor，且返回值为Tensor，（所以以后不需要再用Variable）
Tensor创建后,默认requires_grad=Flase
可以通过xxx.requires_grad_()将默认的Flase修改为True...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 3

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值