pytoch 使用float64训练

最新推荐文章于 2023-01-19 17:30:21 发布
最新推荐文章于 2023-01-19 17:30:21 发布
阅读量6.5k 收藏 15
点赞数 6
分类专栏： pytorch 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gltangwq/article/details/106519174
版权

pytorch默认使用单精度float32训练模型，原因在于：使用float16训练模型，模型效果会有损失，而使用double(float64)会有2倍的内存压力，且不会带来太多的精度提升。

本人，最近遇到需要使用double数据类型训练模型的情况，具体实现需要把模型的权重参数数据类型和输入数据类型全部设置为torch.float64即可。

可使用torch的一个函数，轻松地把模型参数转化为float64

torch.set_default_dtype(torch.float64)

输入类型可使用

tensor.type(torch.float64)
gltangwq
关注
  • 6
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
pytorch 找最大值
dahuayaoer的博客
03-18 6113
曾经有个现场 coding 的面试题放在我面前，我没有。。。 题意：使用神经网络实现，从数组中找出最大值。 提供数据：两个 csv 文件，一个存训练集：n 个 m 维特征自然数数据，另一个存每条数据对应的 label ，就是每条数据中的最大值。 迟到的答案： ...
pytorch踩坑记
m0_46545833的博客
03-21 1826
pytorch神经网络
速成pytorch学习——2天
kaggle expert，全球排名前1000，清华计算机研究生，兴趣算法工程
09-17 498
Pytorch的基本数据结构是张量Tensor。张量即多维数组。Pytorch的张量和numpy中的array很类似。 本节我们主要介绍张量的数据类型、张量的维度、张量的尺寸、张量和numpy数组等基本概念。 一，张量的数据类型 张量的数据类型和numpy.array基本一一对应，但是不支持str类型。 包括: torch.float64(torch.double), torch.float32(torch.float), torch.float16, torch.int64(torch.l
Pytorch学习笔记---2：张量
m0_64007201的博客
10-10 1501
对Pytorch张量的学习总结
pytorch和numpy默认浮点类型位数
gy笨瓜的博客
02-10 3396
numpy中默认浮点类型为64位，pytorch中默认浮点类型位32位 测试代码如下          numpy版本：1.19.2          pytorch版本：1.2.0 In [1]: import torch In [2]: import numpy as np # 版本信息 In [3]: "pytorch ve
Pytorch变量类型转换
热门推荐
zchenack个人专栏
01-24 9万+
Pytorch的数据类型为各式各样的Tensor,Tensor可以理解为高维矩阵。与Numpy中的Array类似。Pytorch中的tensor又包括CPU上的数据类型和GPU上的数据类型，一般GPU上的Tensor是CPU上的Tensor加cuda()函数得到。通过使用Type函数可以查看变量类型。一般系统默认是torch.FloatTensor类型。例如data = torch.Tensor(
pytorch学习
01-07
与tensorflow相同，在pytorch框架中，同样使用张量（tensor）来传输数据。我们可以对tensor的维度进行自定义，如果图像转化为tensor，那么一般来说我们需要将图像先转类型为numpy（此时数据维度为N x H x W X C，即...
基于pytorch量化感知训练mnist分类 浮点训练vs多bit后量化vs多bit量化感知训练效果对比
03-06
本篇文章将深入探讨基于PyTorch的量化感知训练在MNIST手写数字分类任务中的应用，以及与浮点训练和多bit后量化训练的对比。 首先，我们来理解一下浮点训练。在标准的深度学习过程中，模型参数通常是用32位浮点数...
基于pytorch的预训练模型转换为ONNX的图像识别
最新发布
05-16
在PyTorch中，可以使用torchvision库轻松加载预训练的ResNet模型。 接下来，我们将详细介绍转换过程： 1. **安装与导入依赖**：确保已安装PyTorch和onnx库，可以使用以下命令安装： ``` pip install torch ...
Pytorch 使用opnecv读入图像由HWC转为BCHW格式方式
09-16
在深度学习领域，尤其是使用PyTorch框架时，经常需要将图像数据从OpenCV的读取格式转换为适合神经网络模型输入的格式。OpenCV读取的图像默认为HWC格式，即高度（Height）、宽度（Width）和颜色通道（Color，通常为...
基于pytorch预训练模型使用Faster RCNN调用摄像头进行目标检测【无敌详细！简单！超少代码！】
11-11
在本教程中，我们将深入探讨如何使用PyTorch框架中的预训练Faster R-CNN模型进行目标检测，并通过调用摄像头实时展示检测结果。Faster R-CNN是一种经典的深度学习模型，广泛应用于图像识别和物体定位任务。它通过...
[Pytorch]Pytorch的tensor变量类型转换
急流勇进
01-09 1万+
[Pytorch]Pytorch的tensor变量类型转换 原文：https://blog.csdn.net/hustchenze/article/details/79154139 Pytorch的数据类型为各式各样的Tensor,Tensor可以理解为高维矩阵。与Numpy中的Array类似。Pytorch中的tensor又包括CPU上的数据类型...
Pytorch -＞ 数据类型
xs520520wmy的博客
02-22 640
a = torch.randn(2,3) a.type() >>> 'torch.FloatTensor' type(a) >>> torch.Tensor isinstance(a,torch.FloatTensor) >>> True 数据在cpu和gpu数据格式会发生改变 # CPU isinstance(b, torch.cuda.DoubleTensor) >>> False # GPU化 isinstance(...
Pytorch和Numpy的默认类型
stay_zezo的博客
12-13 2114
1、对于整形数据部分的默认类型区别 pytorch创建的整数tensor是torch.int64类型, 64位类型 Numpy创建的整数ndarrays是np.int32， 32位类型 2、对于浮点数据部分的默认类型区别 pytorch创建的默认浮点类型是torch.float32, 32为类型 Numpy创建的默认浮点类型是np.float64， 64位类型 ...
torch.FloatTensor()生成的数据类型dtype大小
mmmmzhuang的博客
06-18 9590
torch.FloatTensor()默认生成32位浮点数，dtype为torch.float32ortorch.float
有关于pytorch单精度bfloat16位
weixin_43301333的博客
10-15 1万+
BF16是brain float的简称（来源于google brain）。不同于普通的单精度浮点数FP16(i.e., torch.float16)，BF16是介于FP16和FP32之间的一种浮点数格式。BF16的指数位比FP16多，跟FP32一样，不过小数位比较少。即，BF16尝试采用牺牲精度的方法，来换取更大的数值空间。
torch.tensor 和numpy的相互转化及float格式
Cretheego的博客
01-19 1499
torch语法
torch中的数据类型和相互转换
程西西
12-12 1万+
文章目录1 torch.Tensor2 Data types3 Initializing and basic operations1）使用torch.tensor() 创建2）使用python list创建3）使用zeros ones函数创建4）通过torch.dtype指定类型， torch.device指定构造器5）零维张量6）torch.Tensor.item()从包含单个值的张量中获取Python数字4 type changes1）tensor间类型转换2）数据存储位置转换3）与Python数据类型
torch.FloatTensor和torch.Tensor、torch.tensor
James_bobo的博客
04-23 8227
在Pytorch中，Tensor和tensor都用于生成新的张量。 a = torch.Tensor([1, 2]) # tensor([1., 2.]) a=torch.tensor([1,2]) # tensor([1, 2]) torch.Tensor()是Python类，更明确的说，是默认张量类型torch.FloatTensor()的别名，torch.Tensor([1,2]) 会调用Tensor类的构造函数__init__，生成单精度浮点类型的张量。 a=torch.Tensor([1,2])
pandas怎么使用pytorch神经网络进行训练
04-29
首先，需要将数据存储为pandas的DataFrame格式，并将其转换为pytorch的Tensor格式。可以使用以下代码： ```python import pandas as pd import torch # 读取数据 data = pd.read_csv('data.csv') # 将数据转换为Tensor格式 X = torch.tensor(data.drop('target', axis=1).values, dtype=torch.float32) y = torch.tensor(data['target'].values, dtype=torch.float32) ``` 接下来，定义神经网络模型。可以使用pytorch中的`nn.Module`类来定义模型。以下是一个简单的模型示例： ```python import torch.nn as nn class Net(nn.Module): def __init__(self): super(Net, self).__init__() self.fc1 = nn.Linear(10, 5) # 输入层到隐藏层 self.fc2 = nn.Linear(5, 1) # 隐藏层到输出层 def forward(self, x): x = nn.functional.relu(self.fc1(x)) x = self.fc2(x) return x net = Net() ``` 然后，定义损失函数和优化器。可以使用pytorch中的`nn`模块和`optim`模块来定义损失函数和优化器。以下是一个简单的示例： ```python import torch.optim as optim criterion = nn.MSELoss() # 定义均方误差损失函数 optimizer = optim.SGD(net.parameters(), lr=0.01) # 定义随机梯度下降优化器 ``` 最后，进行模型训练。可以使用以下代码： ```python for epoch in range(100): running_loss = 0.0 for i in range(len(X)): inputs, labels = X[i], y[i] optimizer.zero_grad() outputs = net(inputs) loss = criterion(outputs, labels) loss.backward() optimizer.step() running_loss += loss.item() print('[%d] loss: %.3f' % (epoch + 1, running_loss / len(X))) ``` 其中，`optimizer.zero_grad()`用于清空梯度信息，`loss.backward()`用于计算梯度，`optimizer.step()`用于更新模型参数。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值