PanYHHH的博客

为了节省显存，pytorch在反向传播的过程中只保留了计算图中的叶子结点的梯度值，而未保留中间节点的梯度，如下例所示：import torchx = torch.tensor(3., requires_grad=True)y = x ** 2z = 4 * yz.backward()print(x.grad) # tensor(24.)print(y.grad) # None可以看到当进行反向传播后，只保留了x的梯度tensor(24.)，而y的梯度没有保留所以为None。

本文中绘制类激活热力图的基本方法参考自：https://blog.csdn.net/sinat_37532065/article/details/103362517在该方法的基础上，本文添加了如下功能：根据网络层的名字，可视化模型指定层的类激活热力图。本文使用的backbone network为Resnet50，实际运行时需要根据使用的网络来修改以下两个参数：1. "layers_names"：包含模型所有网络层名的列表，层名顺序与模型结构一致。2. "out_layer_name"：指定的

一、分布式训练的优势：torch.nn.DataParallel可以使我们方便地将模型和数据加载到多块gpu上，实现数据并行训练，但存在着训练速度缓慢、负载不均衡的问题。相比之下，torch.distributed具有以下几点优势：1. distributed是多进程的，会分配n个进程对应n块gpu，而DataParallel是单进程控制的，所以存在着PIL（全局解释器锁）的问题。2. （主要优势）distributed在每个进程内都维护了一个optimizer，每个进程都能够独立完成梯度...

import cv2import numpy as np# 路径中包含特殊符号，使用cv2.imread()和cv2.imwrite()时会读取、保存失败img_path = r'C:\Users\admin\Desktop\8Dicellograptuscf.complanatus\Shot_201907121711130877.jpg'save_path = r'C:\Users\admin\Desktop\8Dicellograptuscf.complanatus\Shot_201...

一、裁剪单个多边形import numpy as npimport cv2# 读取图像img = cv2.imread("dog.jpg")# 坐标点pointspts = np.array([[10, 10], [15, 0], [35, 8], [100, 20], [300, 45], [280, 100], [350, 230], [30, 200]])pts = np.array([pts])# 和原始图像一样大小的0矩阵，作为maskmask = np.zeros(img

一、固定部分网络层参数1. 将需要固定，不参与训练层参数的requires_grad属性设为False：# 在nn.Modele子类内固定features层参数for p in self.features.parameters(): p.requires_grad=False2. 将参与训练的层参数传入Optimizer：param_to_optim = []for param in self.model.parameters(): if param.requires

前言：记录利用sklearn和matplotlib两个库为pytorch分类模型绘制roc，pr曲线的方法，不介绍相关理论。ROC曲线：import torchimport torch.nn as nnimport osimport numpy as npfrom torchvision.datasets import ImageFolderfrom utils.transform import get_transform_for_testfrom senet.se_resnet

https://www.jianshu.com/p/8024ceef4fe2

Pytorch进行预处理时，通常使用torchvision.transforms.Normalize(mean, std)方法进行数据归一化，其中参数mean和std分别表示图像集每个通道的均值和方差序列。在训练Imagenet数据集时通常设置：mean=(0.485, 0.456, 0.406)，std=(0.229, 0.224, 0.225)。而对于特定的数据集，选择这个值结果可能并不理想。接下来给出计算特定数据集的均值和方差的方法。def getStat(train_data):

在网上搜了搜相关概念，发现很多人好像把同步/异步和阻塞/非阻塞的概念给混淆了。原因可能是因为同步/异步和阻塞/非阻塞是分不开的，而常见的情况是 同步阻塞 和 异步非阻塞 ，所以容易把同步和阻塞混淆，把异步和非阻塞混淆。其实，同步包括了 同步阻塞 和 同步非阻塞 ，异步也包括了 异步阻塞 和 异步非阻塞 。在这里我先介绍阻塞/非阻塞的概念，然后把它们分别融入到同步/异步的情况中去讲解。阻塞/非阻塞：阻塞和非阻塞关注的是程序（线程）在执行过程中调用了另一个程序，在等待调用结果（...

使用requests和BeautifulSoup模块实现依序下载多页图像。直接贴代码，含注释，有空再写解释，不懂欢迎提问。# -*- coding:utf-8 -*-import osimport timeimport randomimport requestsfrom bs4 import BeautifulSoup# 爬取的图像保存路径SAVE_DIR = os.path.join(os.getcwd(), 'pictures')if not os.path.exists(SA

前言：Python不能像Java那样使用 private 和protected 修饰符创建私有属性和受保护的属性，但是Python有个简单的机制，能避免子类意外覆盖“私有”属性。首先定义一个Dog类：class Dog: 'Dog class' def __init__(self, age, sex, mood): self.age = age self._sex = sex self.__mood = mood受保护的属..

前言：在ptorch中，torch.nn和torch.nn.functional模块下包含了许多功能相同、用法相似的方法，比如：1. torch.nn.Softmax(dim=1)(x) 和torch.nn.functional.softmax(x, dim=1)：实现了对x在行维度上进行softmax，2.torch.nn.Conv2d(3, 6, 5)(x) 和 torch.nn.functional.conv2d(x, weight=torch.rand(6, 3, 5, 5))：实现..

前言：之前在训练模型时一直使用自定义的学习率衰减函数，如下所示：def adjust_learning_rate(args, optimizer, epoch, gamma=0.1): """Sets the learning rate to the initial LR decayed 0.1 every 50 epochs""" lr = args.lr * (0.1 ** (epoch // 50)) for param_group in optimizer.para

在使用pytorch训练模型时，经常可以在迭代的过程中看到optimizer.zero_grad(),loss.backward()和optimizer.step()三行代码依次出现，比如：model = MyModel()criterion = nn.CrossEntropyLoss()optimizer = torch.optim.SGD(model.parameters(), lr=0.001, momentum=0.9, weight_decay=1e-4)for epoch in r

本文主要介绍pytorch中CNN模型有哪些常用参数初始化方法，以及如何实现网络层的初始化。一、常用的初始化方法import torch.nn as nnimport torchweights = torch.empty(2, 2)# 1.用均匀分布的值填充输入张量, 参数a：均匀分布的下界, 默认为0.; 参数b：均匀分布的上界, 默认为1.uniform_weights = nn.init.uniform_(weights, a=0., b=1.)print(uniform_we

一、相关概念过拟合：指的是拟合模型时过分关注数据集的细节，得到了一个在训练集上表现很好，但不能很好地泛化到新数据上的模型。言下之意就是模型的参数过多，对于现有的数据量来说太过复杂了。正则化：指对模型做显示约束，限制模型的参数以避免过拟合。L1正则化：指在代价函数后面添加l1正则化项，惩罚了系数的l1范数（l2范数定义为所有元素的绝对值之和）。目的是使其中的某些权值减小到0，因此得到的w更加稀疏。其中C0为初始的代价函数，加号后面的为添加的l1正则化项，为所有参数w的绝对值之和，除以训练集

前言：tensorflow中计算l2正则化项的方法有tf.nn.l2_loss()和tf.contrib.layers.l2_regularizer()，使用方法如下所示：import tensorflow as tfweights = tf.constant([[1,2,3], [4,5,6]], dtype=tf.float32)sess = tf.InteractiveSession()# 计算的是所有元素的平方和再除以2print(tf.nn.l2_loss(weights).e