torch
文章平均质量分 54
*小呆
程序...跳了舞
展开
-
AdamW bug 记录
adamw bug原创 2023-02-02 14:54:59 · 569 阅读 · 0 评论 -
pytorch 交叉熵注意事项
ce loss bug原创 2022-08-04 11:10:32 · 696 阅读 · 0 评论 -
pytorch 分布式
返回当前进程组的排名torch.distributed.get_rank() # 返回当前进程组的排名原创 2021-07-12 11:17:47 · 1401 阅读 · 0 评论 -
pyorch gather 函数
官网解释Gathers values along an axis specified by dim.For a 3-D tensor the output is specified by:out[i][j][k]=input[index[i][j][k]][j][k]out[i][j][k] = input[index[i][j][k]][j][k]out[i][j][k]=input[index[i][j][k]][j][k] # if dim == 0out[i][j][k]=input[i]原创 2021-01-03 14:05:34 · 92 阅读 · 0 评论 -
pytorch backward 功能记录
对于标量输出,backward 符合直觉。x = torch.tensor(1.0, requires_grad=True)y = torch.tensor(2.0, requires_grad=True)z = x**2+yz.backward()print(z, x.grad, y.grad)>>> tensor(3., grad_fn=<AddBackward0>) tensor(2.) tensor(1.)对于矩阵输出,backward 按照如上.原创 2020-10-29 13:16:38 · 190 阅读 · 0 评论 -
[Pytorch] SPP-Net 3D版本原理与实现
代码参考2d的 spp-net code Github1.SPP 插入位置在分类之前,FC要求输入特定尺寸的feature。当输入中包含不同size的图像时,传统的fc就不可以了。此时kaiming提出了SPP-Net,解决了这个问题。2. SPP module 细节输入任意大小的feature,使用maxpooling/average pooling等方法得到4x4xc,2x2xc, 1x1xc的三个固定大小feature。3.代码实现class SpatialPyramidPool3.原创 2020-06-12 15:08:28 · 1145 阅读 · 0 评论 -
[win10] Pycharm 记录远程调试逻辑
备忘录,整理逻辑关系步骤1. 打开configuration2. 配置 configuration这个root path是远程绝对路径3. 配置mapping4. 配置系统的编辑器这个路径 使用 which python 找。6. 映射主目录原创 2020-06-04 15:36:57 · 296 阅读 · 0 评论 -
[win 10] maskrcnn-benchmark 上手(3)—— faster-rcnn 推理
目录0.配置1.推断2.可视化Reference0.配置1.推断运行test_net.py2020-04-03 11:52:17,543 maskrcnn_benchmark.inference INFO: Start evaluation on coco_2017_val dataset(5000 images).100%|██████████| 1251/1251 [09:34&l...原创 2020-04-03 16:52:14 · 434 阅读 · 0 评论 -
[win 10] maskrcnn-benchmark 上手(2)——开始训练
目录1.训练前的配置2.训练前改BUG3. 修改数据集路径4. 开始训练5. 程序大貌Reference1.训练前的配置首先映入眼帘的是这句话:Most of the configuration files that we provide assume that we are running on 8 GPUs.看完后:???,大家实验室都那么有钱吗?流下了贫穷的泪水。。官网也有单卡的解...原创 2020-04-03 10:56:06 · 958 阅读 · 0 评论 -
[win 10] maskrcnn-benchmark 上手(1)——配置环境与coco数据集介绍
conda install pytorch==1.1.0 torchvision==0.3.0 cudatoolkit=10.0 -c pytorch原创 2020-04-02 14:42:34 · 935 阅读 · 1 评论 -
[pytorch] 交叉熵损失输出为负数
网络训练中,loss曲线非常奇怪交叉熵怎么会有负数。经过排查,交叉熵不是有个负对数吗,当网络输出的概率是0-1时,正数。可当网络输出大于1的数,就有可能变成负数。所以加上一行就行了out1 = F.softmax(out1, dim=1)...原创 2020-02-17 10:34:49 · 11250 阅读 · 10 评论 -
[pytorch] 二分类交叉熵逆样本频率权重
通常,由于类别不均衡,需要使用weighted cross entropy loss平衡。def inverse_freq(label): """ 输入label [N,1,H,W],1是channel数目 """ den = label.sum() # 0 _,_,h,w= label.shape num = h*w alpha = den/num #...原创 2020-02-15 23:24:28 · 1689 阅读 · 0 评论 -
[pytorch] 修改cpu计算型loss到gpu上计算
需要改进的代码tp = (y_true * y_pred).sum(dim=0).to(torch.float32)tn = ((1 - y_true) * (1 - y_pred)).sum(dim=0).to(torch.float32)fp = ((1 - y_true) * y_pred).sum(dim=0).to(torch.float32)fn = (y_true * (1 ...原创 2020-01-13 10:15:53 · 3144 阅读 · 0 评论 -
[pytorch] Test time augmentation
[pytorch] Test time augmentation1.什么是Test time augmentation2.pytorch1.什么是Test time augmentationtrain的时候我们经常加入data augmentation, 比如旋转,对比度调整,gamma变换等等,其实本质上是为了增加泛化性。在test的时候,同样可以加入augmented images,相当于...原创 2020-01-11 10:33:32 · 1565 阅读 · 0 评论 -
windows 运行pytorch,在服务器上运行没有失败,但是什么都训练不出来。
这个问题干扰我一天的进度了。目前,终于找到!!!!没有报错的情况下,大概率是导入数据问题。我先说下我的具体的check步骤。检查代码是否上传失败, 重新上传代码检查数据集上传是否正确检查代码数据集导入路径是否正确检查dataloader returen的data和label最后发现os.listdir() 在ubuntu中是乱序读入数据的。。。所以模型data与label压根没配对。。。...原创 2019-11-23 14:11:52 · 618 阅读 · 0 评论 -
result = result.scatter_(1, input.cpu(), 1) 报错
问题“C:\w\1\s\tmp_conda_3.5_170949\conda\conda-bld\pytorch_1570813862397\work\aten\src\TH/generic/THTensorEvenMoreMath.cpp:151”代码result = result.scatter_(1, input.cpu(), 1)原因先查维度,看看target的维度是正不正常。...原创 2019-11-04 10:25:59 · 572 阅读 · 0 评论 -
RTX2080Ti 配置maskrcnn
官方安装教程!RTX2080TI首先请务必查看我的博客。这是个大坑,搞了三天cuda版本,最后咨询官方才得以解决。这些是必须的要求(强烈建议linux,win10安装失败!)GCC >= 4.9CUDA >= 9.0安装流程export TORCH_CUDA_ARCH_LIST=“7.0” (terminal里敲)然后python setup.py build de...原创 2019-10-28 18:13:59 · 1034 阅读 · 4 评论 -
RTX2080 Ti 使用CUDA运行pytorch问题
这个问题非常烦人。我在pytorch 的 github咨询了开发者。https://github.com/pytorch/pytorch/issues/28752所以RTX系列显卡不可以运行CUDA10以下的pytorch程序。 网上居然有人说能运行的,真的是服了,垃圾教程耽误时间。...原创 2019-10-28 10:25:58 · 1756 阅读 · 5 评论 -
[pytorch] 问题记录与技巧
1.release 到GPU之后,从GPU取变量比如loss变成numpyloss.data.cpu().numpy()这样就出来了,而且变成了numpy或者直接loss.item()是个数值2. GPU情况下,网络的nn模块与f模块交替使用比如# error m1 = nn.BatchNorm2d(32) x = F.rel...原创 2019-03-30 23:56:00 · 220 阅读 · 0 评论 -
[官方总结] tensorboardX 使用教程
tensorboardX api手册& 简单教程(看着像官方发布的):https://tensorboardx.readthedocs.io/en/latest/tutorial.htmltensorboardX github地址:https://github.com/lanpa/tensorboardX这个东西非常简单,很多网友的博客对初学者不利,加了自己的东西,致...原创 2019-04-09 20:29:08 · 13461 阅读 · 0 评论 -
pytorch 调整学习率lr_scheduler后显示学习率
非常简单 print("learning rate is ", opt.param_groups[0]["lr"])opt是优化器,只要在每一个epoch完了之后输出就知道lr_scheduler到底有没有成功用到原创 2019-08-11 15:01:49 · 2629 阅读 · 0 评论 -
pytorch1.0加载自己训练一半的模型
pytorch 1.0.1pycharm网络上有一堆子答案,几乎都是0.4版本的,其实到了1.0就非常容易了。def load_checkpoint(model, checkpoint_PATH): model_CKPT = torch.load(checkpoint_PATH) # 之前模型的路径索引 model.load_state_dict(model_CKPT) ...原创 2019-08-26 20:18:35 · 629 阅读 · 0 评论 -
Error(s) in loading state_dict for xxx: Missing key(s) in state_dict:
一般来说有两个原因1. load错了模型2. 多卡/单卡 混合train/testload错误模型可以理解,需要好好检查路径,如果是第二个原因,比如多卡训练(即使batchsize=1),然后测试时候模型虽然正确,但是也会报错,只要在网络load后加上就行了net = nn.DataParallel(net)...原创 2019-09-16 14:35:45 · 1932 阅读 · 0 评论 -
【win】python3 troch gpu版本安装无坑10min教程
版本:pytorch-1.0.1-py3.5_cuda90_cudnn7_1不用那么麻烦,自己下cuda什么的。。集成好了,看教程如果直接在torch官网 在cmd里面conda install pytorch torchvision cudatoolkit=9.0 -c pytorch是不行的,速度极慢(即使我有tz)这里安利最快10min安装好的教程。1.首先我下载好...原创 2019-03-08 14:39:27 · 247 阅读 · 0 评论