断点续训实现

已于 2024-08-08 21:53:00 修改
阅读量244 收藏 1
点赞数 3
分类专栏： 数学 AI 文章标签： linux AI
于 2024-08-08 19:56:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tugouxp/article/details/141035138
版权
数学 同时被 2 个专栏收录
147 篇文章 19 订阅
订阅专栏
AI
24 篇文章 0 订阅
订阅专栏

当我们的数据集很大，或模型很复杂时，模型训练往往会耗费几天甚至数月时间；这时如果因为一些难以预料的原因（电脑关机、电脑崩溃、爆显存等等）导致训练中断，真是会让人崩溃！

因此，我们需要一些机制来避免上述问题！

就像断点续传，操作系统中的中断恢复机制一样，断点续训的代码实现,需要啥保存啥加载啥就完事了，epoch,model,optimizer，weight...

深度学习-断点继续训练 - 知乎 (zhihu.com)

结束


                

        

        

    

  


            

                    
            

    

      

        

            

              
                
                  papaofdoudou
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          









                



	

		

			

				
					
【深度学习实战（24）】训练框架之“断点续训”

				
			

			

				

					m0_51579041的博客
				

				

					04-24
					
					1224
					
				

			

		

		

			
				
【深度学习实战（24）】训练框架之“断点续训”

			
		

	



                

              
                



	

		

			

				
					
断点续训实现很简单

				
			

			

				

					taylorman的博客
				

				

					12-31
					
					1033
					
				

			

		

		

			
				
深度学习，断点续训

			
		

	



                


  
              

                


	

		

			

				
					
Tensorflow2.0实现断点续训

				
			

			

				

					Fuly的博客
				

				

					02-04
					
					1262
					
				

			

		

		

			
				
参考: https://www.bilibili.com/video/BV16A41157LW?p=17
视频及课件来源 北京大学 曹建
使用的识别图片

获取训练数据集
def get_mnist_data():
    # 参考: https://www.codenong.com/53310656/
    # 获取数据 return  (x_train, y_train), (x_test, y_test)
    (x_train, y_train), (x_test, y_test) = tf.k

			
		

	





	

		

			

				
					
【代码问题】【Pytorch模型训练】断点续训与tmux使用

				
			

			

				

					qq_46056318的博客
				

				

					04-24
					
					606
					
				

			

		

		

			
				
因此，即使本地网络断开，Tmux会话仍然会继续在本地计算机上运行，直到你手动关闭会话为止。这里的操作都是在linux黑窗口里，比如你ssh到vscode的话，就是vscode的终端，也可以用xshell链接。连接服务器需要挂载vpn或要保持网络链接，这样网络异常的时候就会白白耗时，针对于此，我的两种解决方案是。当你进入这个会话所在的窗口时，想返回主窗口而不关闭会话，就可以使用这个命令，还可以再进入。断点续训是在网络中断时，依据保存的信息，能够继续中断的训练，所以不仅保存。如果训练完成的话，就。

			
		

	



		

			
		



	

		

			

				
					
解决方案：炼丹师养成计划 Pytorch如何进行断点续训——DFGAN断点续训实操

				
			

			

				

					白洞，白色的明天在等着我们
				

				

					04-09
					
					5314
					
				

			

		

		

			
				
在实际运行当中，我们经常需要每100轮epoch或者每50轮epoch要保存训练好的参数，以防不测，这样下次可以直接加载该轮epoch的参数接着训练，就不用重头开始。下面我们来介绍Pytorch断点续训原理以及DFGAN20版本和22版本断点续训实操**。

			
		

	





	

		

			

				
					
keras ModelCheckpoint 实现断点续训功能

				
			

			

				

					Pichairen
				

				

					07-03
					
					1万+
					
				

			

		

		

			
				
我们先看一下ModelCheckpoint的参数keras.callbacks.ModelCheckpoint(
    filepath, 
    monitor='val_loss', 
    verbose=0, 
    save_best_only=False, 
    save_weights_only=False, 
    mode='auto', 
    period=1...

			
		

	





	

		

			

				
					
keras 利用ModelCheckpoint实现断点续训

				
			

			

				

					HighDS的博客
				

				

					02-06
					
					1696
					
				

			

		

		

			
				
一个回归预测的问题，实现断开模型后还能从上次的权重继续训练。这里利用ModelCheckpoint实现保存模型。
nn_model = Sequential()
nn_model.add(Dense(32, input_dim=4, activation='relu'))
nn_model.add(Dense(16, input_dim=32, activation='relu'))
nn_mod...

			
		

	





	

		

			

				
					
Pytorch实现断点续训

				
			

			

				

					FiveStarsGeneral的博客
				

				

					11-01
					
					3850
					
				

			

		

		

			
				
问题
在进行训练网络模型时，经常会遇到服务器中断或其他原因导致正在训练的模型中断，如果没有保存模型，就要重新训练，费时费力。这种情况怎么解决呢？可以继续原先的模型训练程度继续训练吗？包括weights，epochs，lr，loss等等…
解决
1.通过torch.save()方法保存模型，包括model，loss，epoch，IoU。可以设置每隔几个epochs保存一次。

	state = {
...

			
		

	





	

		

			

				
					
PyTorch实现断点继续训练

				
			

			

				

					idol24的博客
				

				

					01-26
					
					2979
					
				

			

		

		

			
				
点击上方“机器学习与生成对抗网络”，关注"星标"获取有趣、好玩的前沿干货！作者：知乎—HUST小菜鸡地址：https://www.zhihu.com/people/pan...

			
		

	





	

		

			

				
					
tensorflow实现训练代码（mnist数据集&断点续训）

				
			

			

				

					11-04
				

			

		

		

			
				
利用tensorflow实现读取数据集，训练数据集，最后得出准确率。基于pytho语言，有详细的注释。

			
		

	





	

		

			

				
					
第十七节 huggingface的trainner的断点续训的Demo(resume)

					
最新发布

				
			

			

				

					weixin_38252409的博客
				

				

					06-01
					
					284
					
				

			

		

		

			
				
在huggingface中，有关trainer内容实在太多了，我将布局6篇文章来构建有关内容。第一篇文章介绍参数；第二篇文章给出一个完整Demo，并介绍trainner源码的整体结构，呈现一个整体框架；第三篇文章介绍给出数据构造、优化器构建方法源码解读；第四篇篇文章介绍epoch外循环训练相关源码解读；第五篇文章介绍step内循环训练相关源码解读；第六篇文章介绍Resume方法内容，包含继承数据、继承优化器、继承模型等实现完整断点续训功能。 而本篇为第六篇文章，主要解读resume方法重载权重、优化器等继续

			
		

	





	

		

			

				
					
yolov7断点续训

				
			

			

				

					09-09
				

			

		

		

			
				
YOLOv7的断点续训是指在之前的训练中出现中断后，可以继续从中断的地方开始进行训练，而不需要重新从头开始。断点续训需要进行一些操作。  首先，需要清理之前的训练数据集缓存。在训练过程中，YOLOv7会生成datasets...

			
		

	





	

		

			

				
					
fasterrcnn断点续训

				
			

			

				

					05-25
				

			

		

		

			
				
在进行 Faster R-CNN 模型断点续训时，需要注意以下几个步骤：  1. 保存模型参数：在训练过程中，可以使用 PyTorch 中的 `torch.save()` 函数保存模型参数。...通过以上步骤，可以实现 Faster R-CNN 模型的断点续训。

			
		

	





	

		

			

				
					
线性空间一些基本性质的证明

					
热门推荐

				
			

			

				

					tugouxp的专栏
				

				

					10-28
					
					1万+
					
				

			

		

		

			
				
线性代数里面蕴含着丰富的数形结合思想，结合抽象空间变换后，理解难度会小很多,以下证明不一定严密，但至少不依赖任何技巧的花哨的数学方法，依赖空间直觉得出自然而然的结论。

1.在线性空间的理论中，有一个定理起着重要的作用，描述如下,如果向量组



中每一个向量都是向量组

 

的线性组合，而且m>k,则向量



必定线性相关.

证明过程如下，由题设:

必然存在KxK的满秩矩阵A，使得



是



空间向量的线性变换结果，也即是：



这样

和　均可以做为K维空间的基.

所以...

			
		

	





	

		

			

				
					
拉普拉斯变换的几何直观理解

				
			

			

				

					tugouxp的专栏
				

				

					02-27
					
					1万+
					
				

			

		

		

			
				
拉普拉斯变换是在傅里叶变换的基础上引入的，现在考虑对一个任意函数进行傅里叶变换，为了使之在区间有定义，给它乘以单位阶跃函数,为了容易满足绝对可积条件，再乘以衰减因子,然后对函数进行傅里叶变换．其中，，　拉普拉斯变换记为：可见，的拉普拉斯变换就是的傅里叶变换，上式是函数的拉普拉斯变换的一般定义式，其中参数是一个复数，实部为正．的拉普拉斯变换记为称为像函数，为原函数．。

			
		

	





	

		

			

				
					
多元(二元）函数极限的存在性问题

				
			

			

				

					tugouxp的专栏
				

				

					05-14
					
					1万+
					
				

			

		

		

			
				
高等数学课本对多元函数极限的描述，用描述如下：设二元函数的定义域为D,是Ｄ的聚点，如果存在常数A,对于任意给定的正数，总存在正数,使得当点时，都有成立，那么就称常数A为函数f(x,y)当的极限，记作定义就是这个样子的，这里需要注意的是，所谓的二重极限存在，是指以任何方式趋近于时，f(x,y)都无限接近于A,因此，如果P(x,y)以某一特殊方式，例如沿着一条定直线或定曲线趋于。

			
		

	





	

		

			

				
					
数字华容道的数学原理

				
			

			

				

					tugouxp的专栏
				

				

					10-19
					
					1万+
					
				

			

		

		

			
				
给儿子买了一套数字华容道的棋盘，结果毫不意外地成了我打发时间的工具，玩儿多了后就有了一些心得，结合网上的资料，总结如下图所示。这是一个NPC问题，目前还没有通用解法。更深刻的数学原理涉及到群论了，群论在大学数学里面有着完全不一样的画风，没有深入学习过。以三阶为例，可以验证，每个复原步骤均满足上述条件：共计48步，这个步数必定是个偶数，因为黑框从最后一个位置再回到最后的位置，必定为偶数，根据群的基本理论，所以必须保证初始状态的逆序数也为偶数。

			
		

	





	

		

			

				
					
统计学中的真阳性(TP),假阴性(FN),假阳性(FP),真阴性(TN)怎么理解？

				
			

			

				

					tugouxp的专栏
				

				

					10-06
					
					1万+
					
				

			

		

		

			
				
举个例子，假如要在一个地区进行1000人的核酸检测，我们站在上帝视角，知道这1000人中，有10人是新冠感染者，占比%1。



但实际的检测结果可能存在误差，误差包括两种情况

新冠感染者，被错误诊断为健康
	身体健康，但却被错误诊断为感染者
检测结果如下：

9名感染者得到了正确的阳性结果(TP,true positive)，1人出现假阴性(FN,false negative).
	其余990位健康的人中，检测除了89为假阳性(FP,false positive).901人得到了正确的阴性结果（TN,t

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
papaofdoudou

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值