model在CPU上能正常运行在GPU上却卡住

最新推荐文章于 2024-08-14 22:57:37 发布
最新推荐文章于 2024-08-14 22:57:37 发布
阅读量1.1k 收藏 1
点赞数
分类专栏： 研究生机器学习 系统或软件安装 文章标签： 深度学习 人工智能 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cloudless_sky/article/details/129126694
版权

1、torch.sigmoid
2、lstm的hidden_size先改成很小的，后来又增上去；
3、最最根本的原因是：cpu和cuda之间的数据传输太多，导致很慢很慢！！！

true=label.cuda()
pred=torch.sigmoid(pred).cuda()
loss = criterion(pred.float(), true.float())

改成


                

                
                
        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        


    



                



	

		

			

				
					
GPU 虚拟化技术原理

				
			

			

				

					烟云的计算
				

				

					04-04
					
					5564
					
				

			

		

		

			
				
目录
文章目录目录SR-IOV Passthrough vGPUMediated Passthrough vGPUNIVDIA Multi-Instance vGPU
SR-IOV Passthrough vGPU
GPU 作为一种典型 PCIe 设备，可以基于 SR-IOV 规范，将 GPU 切分为多个 VF 后，再通过 PCI Passthrough 的方式分别提供给多个 VM 使用。
Mediated Passthrough vGPU
Mediated Passthrough（分片透传）vGPU，是一

			
		

	



                

            
              



	

		

			

				
					
《Gpu Gems》《Gpu Pro》《Gpu Zen》系列读书笔记

				
			

			

				

					puppet_master的专栏
				

				

					02-13
					
					2万+
					
				

			

		

		

			
				
本篇blog简单记录了一下最近一两年一直在读的一系列书目。《Gpu Gems》1-3三部，《Gpu Pro》1-7七部，《Gpu Zen》一部。针对每一项渲染技术，进行全系列书的总结，从这个角度来看，可以看到一项技术，近十五六年来的进化过程。

			
		

	



              


  
              

                


	

		

			

				
					
【MindSpore】CPU可以正常运行的，但是GPU下报错

				
			

			

				

					xi_xiyu的博客
				

				

					10-31
					
					1224
					
				

			

		

		

			
				
GPU和CPU的特性是有差异的，不同的硬件都会有差异，所以同样的代码有的硬件下可能正常，有的就会出现NAN等问题；动态图模式下面是可以使用print()操作的，在你觉得可能出错的地方尝试print一下具体数据，看看能不能获得相应的信息，比如你这边是提示了无效的loss，尝试看看能不能在计算loss的地方print(loss)一下。可能是GPU环境下某种数据类型不支持，或者GPU下loss出现NAN了；2、context.set_context(device_target="GPU") 报错。

			
		

	





	

		

			

				
					
求大佬指点，模型和数据在GPU上但运行时CPU满载荷运行，GPU没反应，GPU是正常的，运行其他的模型没有问题

				
			

			

				

					qq_66038112的博客
				

				

					06-05
					
					307
					
				

			

		

		

			
				
模型的部署在GPU，LOSS输出也在GPU，但是运算不在，还有其中必须要有logits=logits.to(device)才能运行，因为没有的话在第一次运行后模型输出的数据会在CPU上，模型的输入数据也在GPU上，但是运算时gpu利用率不到%2，cpu满载荷运行。

			
		

	



		

			
		



	

		

			

				
					
使用yolov5模型过程中遇到的问题：无法使用GPU跑模型的一种解决方法

				
			

			

				

					qq_46549508的博客
				

				

					09-12
					
					2964
					
				

			

		

		

			
				
torch1.9.0+cu114 和 1.9.0 是PyTorch的两个不同版本，它们之间的主要区别在于CUDA（Compute Unified Device Architecture）支持的版本和相关的硬件兼容性。**的是支持cuda的版本，安装此版本才能使用gpu跑模型，而且此版本的大小回避标准版的要大，通常是几个G。如果你的系统上安装了CUDA 11.4，并且你的GPU支持这个版本，那么使用这个PyTorch版本可以获得更好的性能。这是PyTorch的标准版本，通常不包含特定的CUDA版本。

			
		

	





	

		

			

				
					
容器里 pytorch model.cuda()卡死

				
			

			

				

					yimingfei的博客
				

				

					11-26
					
					8220
					
				

			

		

		

			
				
在容器里，模型运行到model.cuda()这一步很久不动，直到被kill。

解决方案：

查看容器里cuda为10.2版本，但是torch安装的是0.4.0版本，所以我重新安装为匹配的版本：

pip3 install torch==1.6.0 torchvision==0.7.0

这样就解决了。
...

			
		

	





	

		

			

				
					
【问题及解决】训练一段时间卡住GPU Memory Usage满但是GPU-Util 是0%

				
			

			

				

					kk的博客
				

				

					03-03
					
					1843
					
				

			

		

		

			
				
猜测这次的无故卡死是因为多线程读取数据导致内存爆炸，大内存很重要，这里8和4都试过了，因此选择调小num_works：8->4->2。扩充了数据集的种类并且整合之后使用yolov7nohup挂起训练，结果到了epoch45的时候卡住了，一直不动。居然是因为找不到图像，应该是我数据处理步骤较多，有的没检查清楚，结果导致了这样的结果，万万没想到啊无语死了。Workers继续调小，变成2，结果还是会出现一样的情况。可以看到显存使用几乎是满的，但是GPU使用率一直是0.结果卡了好久，我发现出现报错了！

			
		

	





	

		

			

				
					
pytorch 指定卡1_在pytorch中为Module和Tensor指定GPU的例子

				
			

			

				

					weixin_36352910的博客
				

				

					01-30
					
					360
					
				

			

		

		

			
				
pytorch指定GPU在用pytorch写CNN的时候，发现一运行程序就卡住，然后cpu占用率100%，nvidia-smi 查看显卡发现并没有使用GPU。所以考虑将模型和输入数据及标签指定到gpu上。pytorch中的Tensor和Module可以指定gpu运行，并且可以指定在哪一块gpu上运行，方法非常简单，就是直接调用Tensor类和Module类中的 .cuda() 方法。import ...

			
		

	





	

		

			

				
					
pytorch训练在最后一个batch时卡住

					
最新发布

				
			

			

				

					04-03
				

			

		

		

			
				
### PyTorch 训练在最后一个批次时卡住的原因分析  当使用 PyTorch 进行训练时，如果发现程序在处理最后一个批次时卡住，可能是由多种原因引起的。以下是几个常见的可能性及其解决方案：  #### 1. 数据加载器配置...

			
		

	





	

		

			

				
					
服务器运行程序一直不能上GPU,一直在CPU上跑的原因

				
			

			

				

					薰珞婷紫小亭子的博客
				

				

					12-25
					
					9604
					
				

			

		

		

			
				
服务器运行程序一直不能上GPU,一直在CPU上跑的原因
一、问题描述
网上找的别人的开源代码，通过配置参数可以实现程序成功运行，但是运行速度很慢，通过gpustat命令查看，发现一直都是在cpu上运行，可程序中，明明写了device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
二、解决方法
1 . 通过将原程序中的device = torch.device("cuda:0" if torch.cuda.is_availab

			
		

	





	

		

			

				
					
神经网络代码总是停在to(device)很久之后才能继续运行（解决）

				
			

			

				

					我有明珠一颗的博客
				

				

					06-05
					
					8887
					
				

			

		

		

			
				
如图所示，每次用cpu就能跑，但跑非常慢，然后就会把cuda设置为True，这样就在gpu上面跑了，但每次跑到to(device) 的时候就会卡很久很久，总之还是很慢很慢，所以在朋友的帮助下解决了这个问题。

CUDA版本检查，我的显卡是3060，据说GeForce RTX 30系列显卡仅支持CUDA 11.1及以上版本，于是去安装了CUDA11.1。

检查下环境变量，没毛病：



然后再在终端执行：nvcc -V 检查下，没毛病：



接着，在pytorch官网找到cuda11.1对应的pyt...

			
		

	





	

		

			

				
					
pytorch在jupyter中无法使用GPU原因之一

				
			

			

				

					weixin_56067040的博客
				

				

					08-11
					
					1081
					
				

			

		

		

			
				
后面了解想到 jupyter不是使用Anconada创建的虚拟环境，自然无法激活GPU版本的pytorch，在这里只需要给 jupyter变更环境既可。先前在论坛阅读关于如何使用Anconada安装GPU版本的pytorch，最初的一步就是创建虚拟环境。然后在jupyter lab中用下面带代码打印出来一直是False。然后重启 jupyter 切换内核即可。当然这只是解决问题的其中一个方法。

			
		

	





	

		

			

				
					
tensorflow在CPU可以正常运行，在GPU报错

				
			

			

				

					weixin_45885232的博客
				

				

					02-06
					
					736
					
				

			

		

		

			
				
tensorflow在GPU下报奇奇怪怪错误的解决方案，尤其是7209行错误

			
		

	





	

		

			

				
					
【MindSpore Profiler】【性能调优】GPU分布式训练卡死

				
			

			

				

					weixin_45666880的博客
				

				

					06-25
					
					1017
					
				

			

		

		

			
				
问题描述：【功能模块】【操作步骤&问题现象】1、在单机四卡环境下，使用官方提供的脚本进行训练，参数配置未改变2、在run_pretrain.py文件中调用Profiler工具记录性能数据（代码中第24，25行）3、发现训练过程卡死不动，程序未报错退出，此时GPU利用率为0，CPU利用率很高4、相关环境为【截图信息】卡死时状态 解答：从日志看，应该在正常执行，只是用profiler之后，会改成同步执行，网络执行速度就会比较慢。一般情况下，大网络，只会跑几个step用来分析性能，不会长期跑。 step 收集，可

			
		

	





	

		

			

				
					
GPU训练loss不下降，CPU正常

				
			

			

				

					luckyqiong
				

				

					03-20
					
					1915
					
				

			

		

		

			
				
数据并行机制相关



			
		

	





	

		

			

				
					
PyTorch 训练时中遇到的卡住停住等问题

					
热门推荐

				
			

			

				

					yyywxk的博客
				

				

					05-24
					
					7万+
					
				

			

		

		

			
				
- 问题描述
使用 PyTorch 框架训练模型，训练第一个 epoch 时，在最后一个 batch 处卡死，卡了一天都没有动弹，而 CPU 和 GPU 都处于正常运行的状态，程序也没有报错，并且之前训练一直都是正常的。最终，只能通过 Ctrl+C 强制性暂停。如下图所示。
- 可能的原因

搜索文章发现，有人出现这种问题是和 cv2.imread 有关，用 OpenCV 的接口进行数据读取，而没有用 PIL，导致出现 OpenCV与Pytorch互锁的问题，关闭OpenCV的多线程即可解决问题1 2。
但

			
		

	





	

		

			

				
					
CUDA 程序运行时 CPU 100%的一个解决方法

				
			

			

				

					joshua2011的专栏
				

				

					01-12
					
					4801
					
				

			

		

		

			
				
CUDA 程序运行时CPU 100%的问题有点让人头痛，在实验过程中调用了kernel函数后，再调用cudaMemcpyAsync，但发现在还有会到block在这个所谓的async api，strace 跟了一下，发现99.999%都是
clock_gettime(CLOCK_MONOTONIC_RAW, {2461, 485666623}) = 0

于是实然有了一个灵感，为什么我不写一个

			
		

	





	

		

			

				
					
(已解决)Ubuntu多显卡训练模型时程序卡死：torch torch 奈若何

				
			

			

				

					行步至春深
				

				

					09-26
					
					3311
					
				

			

		

		

			
				
根因是cuda和pytorch的版本不匹配~经过这次最大的收获是理解了channel并学会了下载下安装包conda install --use-local 的安装方式

			
		

	





	

		

			

				
					
笔记本电脑本地部署ollama大模型（显存不足调用CUDA Unified Memory方法）

				
			

			

				

					m0_67228616的博客
				

				

					08-14
					
					3万+
					
				

			

		

		

			
				
ollama个人部署

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 1

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值