![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
pytorch源码解读
文章平均质量分 83
torch源码零星汇总
武乐乐~
努力上进的懒虫
展开
-
Pytorch中‘内存共享’和‘内存连续’特性总结
本文旨在记录pytorch的API如何影响Tensor运算的‘内存共享性’和‘内存连续性’。’内存共享‘可以理解为浅拷贝;’内存连续’就是Tensor在信息区的内存空间上的连续性。本文会结合代码介绍pytorch中的op是如何影响这两个性质的。大家可先扫一眼下面的代码:这里简单介绍两个API,is_contiguous()能够判断一个Tensor的**信息区**上是否‘内存连续’;.data_ptr()能够返回张量在内存空间上的地址,可用于判断两个张量是否‘内存共享’。原创 2022-10-16 15:40:41 · 2456 阅读 · 7 评论 -
pytorch中常用损失函数总结
本文主要介绍pytorch中常用的损失函数API的使用。原创 2022-06-26 10:58:07 · 1226 阅读 · 0 评论 -
Pytorch中模型常用片段汇总
文章目录前言1、统计模型的可学习参数的数量2、模型不同位置使用不同学习率N、分布式相关前言 本文主要整理一些pytorch关于搭建模型过程中常用的代码片段。1、统计模型的可学习参数的数量 这个指标是我在conditional detr论文中看见的,即比较的是detr和conditional detr两个方法参数的数量。注意,此处统计的是数量,并不是参数所占有的内存大小。贴上公开源码:n_parameters = sum(p.numel() for p in model.parameters()原创 2022-04-06 14:52:31 · 1999 阅读 · 0 评论 -
torchvision加载ResNet除全连接层的权重
简单贴下如何加载torchvision中预训练权重,要不总是忘。import torchimport torch.nn as nnimport torchvisionclass ResNet(nn.Module): def __init__(self): super(ResNet, self).__init__() pass # 往ResNet里面添加权重 def init_weights(self, pretrained = True)原创 2022-02-14 10:54:34 · 5251 阅读 · 4 评论 -
Pytorch常用API总结
文章目录前言1、torch.sum()1.1 torch.sum(input, dtype=None) --> Tensor1.2 torch.sum(input, dim, keepdim) --> Tensor前言 本文主要用于记录pytorch中常用API的使用方法以及注意事项。很多api在pytorch的官网已经给出了详细的解释,但本人还想整理自己一份。本文不定期更新。1、torch.sum()1.1 torch.sum(input, dtype=None) --> Te.原创 2021-12-20 10:48:07 · 4490 阅读 · 3 评论 -
Pytorch的scatter函数详解
文章目录前言1、官方文档解释2、举个例子总结前言 在看FCOS算法源码时,发现获取正样本点用到了scatter这个函数,故记录下。1、官方文档解释 先贴出链接:scatter官方解读Tensor.scatter_(dim, index, src, reduce=None) → Tensor 接收三个参数: dim, index和src。该函数作用就是在dim维度上,根据index提供的索引,从src中提取对应元素来赋值给Tensor。 以下是官方给的一个三维张量例子。 需要注意两个点:原创 2021-12-10 18:40:42 · 2191 阅读 · 0 评论 -
玩转Pytorch的Function类
文章目录前言1、y=w*x+b2、进阶:y=pow(exp(x),2)2.读入数据总结前言 pytorch提供了autograd自动求导机制,而autograd实现自动求导实质上通过Function类实现的。而习惯搭积木的伙伴平时也不写backward。造成需要拓展算子情况便会手足无措。本文从简单例子入手,学习实现一个Function类最基本的要素,同时还会涉及一些注意事项,最后在结合一个实战来学习Function类的使用。1、y=w*x+bimport torchfrom torch.auto原创 2021-06-13 20:55:50 · 3843 阅读 · 9 评论