Pytorch基础
文章平均质量分 72
日晨难再
杂学旁收
展开
-
Pytorch:显卡驱动版本、Pytorch版本的关系
显卡驱动程序一般是显卡自带的,可以在终端中使用nvidia-smi命令查看,如下图所示。原创 2024-07-18 01:29:34 · 1035 阅读 · 14 评论 -
Pytorch基础:torch.cuda.set_device函数
torch.cuda.set_device函数用于设置当前使用的cuda设备,在当拥有多个可用的GPU且能被pytorch识别的cuda设备情况下(环境变量CUDA_VISIBLE_DEVICES可以影响GPU设备到cuda设备的映射)。原创 2024-05-13 17:06:23 · 1268 阅读 · 31 评论 -
Pytorch基础:环境变量CUDA_VISIBLE_DEVICES
CUDA_VISIBLE_DEVICES这个环境变量可以影响CUDA能识别到的GPU,并影响它映射到的cuda设备编号。原创 2024-05-13 00:00:15 · 668 阅读 · 11 评论 -
Pytorch基础:torch.load_state_dict()方法在加载时不会检查类型
笔者在使用torch.nn.module的load_state_dict中出现了一个问题,一个被注册的张量在加载后居然没有变化,一开始以为是加载出现了问题,但发现其他参数加载成功,思索后发现是注册的张量的类型是整型而checkpoint中保存为浮点数类型,恰好注册时的默认值给的是0,而checkpoint中的浮点数又在0到1之间,因此出现了这个令人困惑的bug。原创 2024-04-27 20:58:20 · 1103 阅读 · 16 评论 -
Pytorch基础:张量相关的乘法(torch.mul、torch.mv、torch.matmul、torch.mm、torch.bmm、torch.dot、torch.tensordot、*、@)
Pytorch中含有很多种张量乘法,本文旨在帮助理解它们的不同。下面将分小节进行详细阐述,包括torch.mul、torch.matmul、torch.mm、torch.bmm、torch.dot、torch.tensordot、*、@。原创 2024-04-16 00:30:39 · 1169 阅读 · 24 评论 -
Pytorch基础:标量(零阶张量)
在PyTorch中,标量(Scalar)是一种只包含单个数值的零阶张量,它是只有一个元素的张量(注意:只有一个元素的张量并不一定是张量)。标量在深度学习中非常常见,通常用来表示损失函数的值、模型参数的值或其他单一数值。原创 2024-04-14 21:29:30 · 443 阅读 · 13 评论 -
Pytorch基础:Tensor的flatten方法
在Pytorch中,flatten是Tensor的一个重要方法,同时它也是一个torch模块中的一个函数,它们的语法如下所示。原创 2024-03-08 20:42:45 · 1270 阅读 · 17 评论 -
Pytorch基础:Tensor的permute方法
在Pytorch中,permute是Tensor的一个重要方法,同时它也是一个torch模块中的一个函数,它们的语法如下所示。官方的解释是:返回原始张量输入的视图,并对其维度进行转置。原创 2023-10-06 17:20:30 · 2040 阅读 · 10 评论 -
Pytorch基础:Tensor的transpose方法
但不一样的是,在一个tensor中对中非嵌套的内容的修改也会导致另一个tensor内容的改变,如下所示,这是因为tensor的元素都是放在一起存储的,所以改变x[0]会导致原数据在原位被修改,而不是创建一个新的tensor并让其被x[0]引用。以上的内容,类似于之前在关于python中列表的浅拷贝中说到的那样,对新列表内部嵌套的列表中的元素的更改会影响原列表(反之亦然)。如果输入是一个具有步幅的张量(常规稠密张量),那么输出张量将与输入张量共享底层存储,因此改变一个张量的内容将改变另一个张量的内容。原创 2023-10-02 14:32:27 · 2903 阅读 · 1 评论 -
Pytorch基础:Tensor的reshape方法
可以看到,给出的参数既可以是多个整数(其中每个整数代表一个维度的大小,而整数的数量代表维度的数量),也可以是一个元组或是列表(其中每个元素代表一个维度的大小,而元素数量代表维度的数量)。而且reshape不改变Tensor中数据的排列顺序(指的是从上到下从左到右遍历的顺序),只改变形状,这也就对reshape各维度大小的乘积有要求,要与原Tensor一致。在上例中即3*4=2*6。注意:此时返回的数据对象并不一定是新的,这取决于应用此方法的Tensor是否是连续的。原创 2023-10-01 14:04:32 · 7013 阅读 · 11 评论