liming_2464的博客

常用几种normalization:链接1: link.链接2: link.normalization意义:链接3: link.

按照优化成本，对可以减少显存占用方案进行排序：目录1.计算总loss时候进行代码优化2.降低batch_size3.Relu 的 inplace 参数4.释放不需要的张量和变量5.数据变小6.精简模型1.计算总loss时候进行代码优化loss本身是一个包含梯度信息的 tensor，正确的求损失和的方式为：total_loss += loss.item()2.降低batch_size适当降低batch size， 则模型每层的输入输出就会成线性减少， 效果相当明显。必须要多个batch_size

目录:1.分类问题（input二维）2.图像分割问题（input多维）1.分类问题（input二维）分类问题输入是每一个batch的各个类别预测概率。input, target, output形状如下：input：（batch_size, class_num）target：（batch_size）output：（batch_size）示例：>>> loss = nn.CrossEntropyLoss()>>> input = torch.randn(3,

参考: link.

链接: 原理.链接: Pytorch实现.

链接: link.

参考链接:https://www.cnblogs.com/wanghui-garcia/p/11399053.html官方文档：https://pytorch.apachecn.org/docs/1.0/nn.htmltorch.nn.Upsample(size=None, scale_factor=None, mode='nearest', align_corners=None)# siz...

1. torch.nnfrom torch import nn1.1卷积nn.Conv2d(in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, bias=True)# in_channels：输入通道# out_channels：输出通道# kernel_size：卷积核...

运行错误：RuntimeError: An attempt has been made to start a new process before the current process has finished its bootstrapping phase. This probably means that you are not usin...

1.CIFAR-10CIFAR-10是多伦多大学提供的图片数据库，图片分辨率压缩至32x32，一共有10种图片分类，均进行了标注。适合监督式学习。CIFAR10有60000张图片，其中50000张是训练集，10000张是测试集。数据下载网址：http://www.cs.toronto.edu/~kriz/cifar.html2.ImageNetImageNet网站首页：http://ima...

神经网络可以使用torch.nn包。nn.Module包含层和方法，forward(input)返回output。神经网络的典型训练过程如下：------定义具有一些可学习参数(或权重)的神经网络。------迭代输入数据集------通过网络处理输入------计算损失(输出离正确有多远)------将梯度传播回网络参数------更新网络的权重，通常使用简单的更新规则：weigh...

Autograd是PyTorch中所有神经网络的核心。------torch.Tensor是包的中心类。当.requires_grad为True时，它开始跟踪它上的所有操作。当你完成你的计算，你可以调用.backward()并自动计算所有梯度。这个张量的梯度将累积到.grad属性。------要阻止张量跟踪历史，您可以调用.detach()将其与计算历史分离，并防止将来的计算被跟踪。每个张量都...

第三方库：from __future__ import print_function # 使print函数在python2.x版本中正常运行import torch（1） print_function 使print函数在python2.x版本中正常运行。（2） torch 包包含了多维张量的数据结构, 以及基于其上的多种数学操作. 此外, 它还提供了许多用于高效序列化 Tensor ...

示例代码：import torchfrom torch import autogradx = torch.tensor(1.) # 只有浮点型张量才可以求梯度（导数）a = torch.tensor(1., requires_grad=True) # requires_grad=True 表示对其求导b = torch.tensor(2., requires...

1.0.0Truecpu 0.20143413543701172 tensor(3496775.5000)cuda:0 0.28623294830322266 tensor(141487., device='cuda:0')cuda:0 0.007987499237060547 tensor(141487., device='cuda:0')

1.查看电脑CUDA版本CUDA（Compute Unified Device Architecture）是由NVIDIA公司创立的基于他们公司生产的图形处理器GPUs（Graphics Processing Units,可以通俗的理解为显卡）的一个并行计算平台和编程模型。通过CUDA，GPUs可以很方便地被用来进行通用计算（有点像在CPU中进行的数值计算等等）。在没有CUDA之前，GPUs一般...