模型推理时CPU和GPU结果不一致

已于 2023-09-27 17:54:07 修改
阅读量571 收藏
点赞数
文章标签： 人工智能 深度学习
于 2023-09-27 11:46:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46472709/article/details/133345572
版权
文章讨论了在模型推理时，由于启用CUDNN加速导致CPU和GPU的结果不一致。当禁用CUDNN，即torch.backends.cudnn.enabled=False，选择固定的卷积算法，训练时的结果会与GPU不同。
摘要由CSDN通过智能技术生成
模型推理时CPU和GPU结果不一致

原因加入了下面这行代码，当注释的掉结果就一致了：

torch.backends.cudnn.enabled = False

这个设置是默认为True的，会让程序在开始时花费一点额外时间，为整个网络的每个卷积层搜索最适合它的卷积实现算法，进而实现网络的加速。
也就是说训练时如果使用的最优的卷积算法，而关闭掉后选择了别的卷积算法，就会导致结果不一致。

Xiao-song
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
tensorflow指定CPU与GPU运算的方法实现
09-17
在使用TensorFlow进行深度学习模型训练或推理时，有时我们需要指定计算任务是在CPU还是GPU上运行，特别是当系统中同时存在CPU和多块GPU时。本文将详细介绍如何在TensorFlow中实现这一目标。 首先，如果你已经安装了...
算法部署-在CPU上推理MPT-30B大模型-附项目源码-优质项目实战.zip
05-16
4. **推理过程**：在CPU上执行模型推理，可能涉及模型的并行化计算来提升效率。 5. **结果解析**：从模型的输出中提取有用信息，如生成的文本、预测的标签等。 6. **性能评估**：对推理速度和准确度进行度量，可能...
openvino 推理效果差别太大
sdzzlove的专栏
09-17 1050
之前有个项目用了OV，最近有个项目像节省成本不配显卡测试下cpu or intel-gpu推理效果，于是 迅速改动了之前项目代码，测试，然后奇怪的事情发生了，总是处理效果非常差，效果该有的地方没有，不该有的地方都有（你懂的），然后茫然，找朋友测试下，正常，然后就疑惑了，到底有啥区别，看了下他的代码，除了新版本的外，基本和我的思路一样，然后我想肯定我的代码有问题，然后猛然发现了一句： net.input_info[input_blob].precision = "U8" holy shit， 之前项
pytorch跨设备保存和加载模型（变量类型(cpu/gpu)不匹配原因之一）
zsycode的博客
04-17 1831
原官网教程地址 跨设备保存和加载模型 保存在GPU上，在CPU上加载 保存： torch.save(model.state_dict(), PATH) 加载： device = torch.device('cpu') model = TheModelClass(*args, **kwargs) model.load_state_dict(torch.load(PATH, m...
模型在一张显卡上训练完后，在另一张显卡上测试，模型失效
weixin_48073767的博客
05-29 191
my_model.state_dict()的device是cuda1，在torch.load把cuda1的参数赋给cuda2上的模型时，参数的值全为零。（不是到是不是torch版本的问题）解决：先将cuda1的数据移动到cpu上，再移动到cuda2上，x与x2的值一致。模型在cuda1上训练完后，在cuda2上测试，模型失效了。结果：当cuda1上的x直接把值赋给cuda2上的x2时，x2的值全为零。
不一样的显卡，在Pytorch中跑相同的网络，配置文件、参数、数据集完全相同，为什么训练结果相差特别多？
u013250861的博客
10-01 2315
gtx1070和gtx660，两个显卡，分别在caffe中跑相同的网络，配置文件、参数、数据集完全相同，为什么训练结果相差特别多，1070的训练损失特大，准确率与瞎猜差不多，反而是660的老显卡准确率0.9以上，请问有这是正常情况吗，难道根据显卡的配置不同，网络的参数调节也要有很大的不同吗？建议跑一下caffe 里的mnist example。看看新显卡环境是不是准确率低。然后换到cudnnV5的caffe版本再试试。很可能是cudnnV4和Nvidia显卡不兼容的问题造成的，我最近就遇到这个大坑。
使用预训练语言模型预测阶段：GPU、CPU性能差别【Pegasus】
u013250861的博客
02-21 1513
一、Pegasus 1、使用CPU（用时： 17.92682433128357 秒） # https://github.com/huggingface/transformers/blob/master/src/transformers/models/pegasus/modeling_pegasus.py import time import torch from transformers import AutoTokenizer, AutoModelForSeq2SeqLM device = torc
onnxruntime评测模型精度不一致问题排查
straka的博客
07-03 7201
gpu精度不一致问题追查 在做模型转换相关工作，但是最近发现转换后的模型精度评测的时候会出现两次评测精度不一致, 模型转换是从caffe转换成量化后的onnx模型，中间会有几个临时模型，分别为original_onnx, 这个是直接转换的模型，一个optimized_onnx，是对原onnx模型进行结构优化/整合后的模型，另一个为quantized_onnx模型，既量化后的模型，我们发现对量化后对模型进行精度评测的时候，多次评测的结果不同，而且是同样的转换代码的情况下，同样的评测图片集，最终评测结果不一致，
【深度强化学习】关于同一设备上cpu和gpu计算结果不一致问题
weixin_56760882的博客
05-24 1122
1、在一般使用中，可以不必追求cpu和gpu计算的结果一致性，也也避免不了，且cpu和gpu导致的细小差别，在训练的效果上几乎没有区别。2、同时，在同一台设备上，我们尽量要求该程序的结果能复现，是为了更好修改超参数。（见:本文万能seed，适用于单机多卡）3、不必追求在不同的设备上能复现一致结果，最终的效果在相同的超参数和输入下，输出的结果也相差无几。4、cpu和gpu在设计时的目的也不同，有差异理所应当，这里本文只分析了在计算上和训练神经网络时的出现的差异，仅作参考。
中文LLaMA&Alpaca大语言模型+本地CPU/GPU训练部署 (Chinese LLaMA & Alpaca LLMs)
02-06
- **性能优化**：针对CPU或GPU进行模型剪枝、量化、静态图优化等，提高推理速度和资源利用率。 - **安全性与隐私**：部署时需考虑模型安全，防止恶意输入，同时注意用户数据隐私保护。 5. **文件详解**： - **...
Transformer部署-基于TVM在CPU和GPU上部署Transformer算法-附项目源码+参数说明+性能测试-优质项目
最新发布
06-07
总的来说，这个项目提供了一个完整的流程，教你如何利用TVM将Transformer模型部署到CPU和GPU上，同时包含了详细的源码和参数说明，对于深入理解和实践深度学习模型的高效部署具有很高的参考价值。通过这个项目，你...
Windows下cpu部署运行清华大学ChatGLM-6B语言模型（详解).docx
06-08
在本文档中，我们将深入探讨如何在Windows操作系统下部署和运行清华大学开发的ChatGLM-6B语言模型。ChatGLM-6B是一款强大的开源对话语言模型，具备中英双语支持和图像理解功能，其基础是General Language Model (GLM...
PaddleX部署推理模型和GUI界面测试结果不一致的解决方法
wobenxiaoyao_的博客
07-20 889
PaddleX部署推理模型和GUI界面测试结果不一致的解决方法
基于pytorch的代码在GPU和CPU上训练时，训练输出结果不同问题
toro12306的博客
06-06 8064
最近打算将代码放在GPU上跑，但是每次跑出来的结果都和CPU跑出来的结果不同，代码是完全一样的，为什么会出现这个问题呢？
分布式训练与单卡训练精度存在差异的几个原因
qq_43183860的博客
04-01 2850
一个主要因素是Batch norm。Batch norm依赖当前batch来计算均值和方差，而主流框架（tf，pytorch）的实现是在当前卡上计算这些统计量。显然单个卡上计算出来的统计量是不能代替整个并行batch的结果。考虑一个极端情形，每张卡batch size=1，这时候单卡的方差为0，而整个并行batch的方差不为0。所以单个sample的前向计算结果不一样，最后计算出来的梯度也不一样。深度学习中多GPU训练是否等价于增大batch size？ - 小朱的回答 - 知乎 NLP 中经常有一..
Pytorch-GPU模型和CPU模型输出不同
每天都要进步哦~
02-06 3110
Pytorch-GPU模型和CPU模型输出不同 实验的时候发现：对于同一个网络结构，使用相同的输入，相同的网络权值，网络在CPU模式和GPU模式下的输出会有细微的不同。 猜测的原因有两个： 浮点数自身的不准确性 CPU和GPU计算架构不同 不过所幸，这种细微的差别不影响实验的结果。 ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值