pytorch
gorgeous___youth
这个作者很懒,什么都没留下…
展开
-
pytorch0.3 anaconda 安装
conda create –n python2.7 python=3.5 mkl=2018 pytorch=0.3.0 -c pytorch -c intel安装pytorch 0.3方法 python2.7虚拟环境名称 python=3.5 虚拟环境版本 File "/storage/st2/anaconda33/envs/python2.7/lib/python3.5/...翻译 2018-12-05 15:47:39 · 1849 阅读 · 0 评论 -
Torch 的几个损失函数
1. L1LossInput: X、Y可以是任意形状的输入,X与Y的 shape相同。Output: 标量用途:计算X与Y的差的绝对值, 1/n * (|Xi -Yi|)2. MSELossInput: x, y 任意具有相同shape的tensor。Output: 计算均方差3. CrossEntropyLossInput: X--> (N, C)...转载 2019-04-17 16:09:39 · 1090 阅读 · 0 评论 -
invalid index of a 0-dim tensor. Use tensor.item() to convert a 0-dim tensor to a Python number
invalid index of a 0-dim tensor. Use tensor.item() to convert a 0-dim tensor to a Python number解决办法https://github.com/NVIDIA/flownet2-pytorch/issues/113转载 2019-05-02 09:43:51 · 1994 阅读 · 0 评论 -
Linux显存占用无进程清理方法(附批量清理命令)
参考https://www.cnblogs.com/ocean1100/p/9126032.html在跑TensorFlow、pytorch之类的需要CUDA的程序时,强行Kill掉进程后发现显存仍然占用,这时候可以使用如下命令查看到top或者ps中看不到的进程,之后再kill掉:fuser -v /dev/nvidia*批量清理显卡中残留进程:sudo fuser -v /...转载 2019-04-23 19:55:38 · 1256 阅读 · 0 评论 -
Pytorch中多GPU训练
参考https://www.jianshu.com/p/0bdf846dc1a2https://oldpan.me/archives/pytorch-to-use-multiple-gpus前言在数据越来越多的时代,随着模型规模参数的增多,以及数据量的不断提升,使用多GPU去训练是不可避免的事情。Pytorch在0.4.0及以后的版本中已经提供了多GPU训练的方式,本文简单讲解下使...转载 2019-04-19 11:21:43 · 2969 阅读 · 0 评论 -
torch中narrow的用法
data = tensor:narrow(dim, index, size)–表示取出tensor中第dim维上索引从index开始到index+size-1的所有元素存放在data中>>> import torch>>> a = torch.rand(5,6)>>> atensor([[0.9737, 0.5571, 0.3...原创 2019-06-13 11:27:10 · 744 阅读 · 0 评论 -
DataParallel使用
DataParallel' object has no attributehttps://github.com/yysijie/st-gcn/issues/83self.model.extract_feature -> self.model.module.extract_featurepytorch 多GPU训练总结(DataParallel的使用)https://blog...转载 2019-06-08 15:46:00 · 3493 阅读 · 0 评论 -
pytorch方法测试——激活函数(ReLU)
import torchimport torch.nn as nn#inplace为True,将会改变输入的数据 ,否则不会改变原输入,只会产生新的输出m = nn.ReLU(inplace=True)input = torch.randn(7)print("输入处理前图片:")print(input)output = m(input)print("ReLU输出:")p...转载 2019-06-25 21:06:37 · 3826 阅读 · 0 评论 -
sigmoid、tanh和relu激活函数的直观解释
大神出处https://www.cnblogs.com/hutao722/p/9732223.htmlhttps://www.jianshu.com/p/857d5859d2cc常见的激活函数有sigmoid、tanh和relu三种非线性函数,其数学表达式分别为:sigmoid: y = 1/(1 + e-x) 当使用sigmoid作为激活函数时,随着神经网络隐含层(h...转载 2019-06-24 12:18:50 · 4085 阅读 · 0 评论 -
神经网络基础-多层感知器(MLP)
DL教程http://study.163.com/courses-search?keyword=%E5%90%B4%E6%81%A9%E8%BE%BE#/?ot=5原文:https://blog.csdn.net/weixin_38206214/article/details/81137911一、前言多层感知器(Multi-Layer Perceptron,MLP)也叫人工神经网络(...转载 2019-06-28 21:51:47 · 2648 阅读 · 0 评论 -
torch.nn.Linear()函数的理解
import torchx = torch.randn(128, 20) # 输入的维度是(128,20)m = torch.nn.Linear(20, 30) # 20,30是指维度output = m(x)print('m.weight.shape:\n ', m.weight.shape)print('m.bias.shape:\n', m.bias.shape)prin...转载 2019-04-22 09:26:39 · 4821 阅读 · 0 评论 -
new_zeros() pytorch版本的转换
logprobs.new_zeros(logprobs.size())pytorch 0.4版本中用到的新建一个与logprobs类型相同的Variable转换为pytorch0.2等版本logprobs.new(logprobs.size()).zero_()原创 2019-04-21 15:08:37 · 8999 阅读 · 0 评论 -
PyTorch中view()函数
view()函数作用是将一个多行的Tensor,拼接成一行。import torch a = torch.Tensor(2,3)print(a)# tensor([[0.0000, 0.0000, 0.0000],# [0.0000, 0.0000, 0.0000]]) print(a.view(1,-1))# tensor([[0.0000, 0.0000, ...翻译 2018-12-07 10:13:53 · 2170 阅读 · 0 评论 -
pytorch学习笔记
pytorch中的unsqueeze()大部分处理pytorch一维张量,pytorch不能处理一维张量 池化层若算出来不是整数则取整数值(如 23.5 取23)卷积若算出来不是整数则取向上的整数(如23.5 取24)...原创 2018-12-10 20:22:24 · 128 阅读 · 0 评论 -
PyTorch(1) torch.nn与torch.nn.functional之间的区别和联系
原文地址在阅读PyTorch官网的教程的时候,发现介绍如何利用Pytorch搭建一个神经网络的示例代码是这样写。import torchfrom torch.autograd import Variableimport torch.nn as nnimport torch.nn.functional as Fclass Net(nn.Module): def __i...转载 2018-12-10 21:08:20 · 3274 阅读 · 1 评论 -
Pytorch 中 Variable 和 Tensor 的 bool 特性
Variable 的 bool>>> vxVariable containing: 0.3535 0.5137 0.4131 0.5732 0.8076 0.4160 1.0000 0.6436 0.3682 0.8086 0.4863 0.9268[torch.cuda.FloatTensor of size 3x4 (GPU 0)]>...转载 2019-01-10 21:22:07 · 5132 阅读 · 1 评论 -
学习笔记
此博客为自己的一些学习过程,记录下来为了自己以后看pytorch 0.3版本>>> import torch>>> from torch.autograd import Variable>>> a = Variable(torch.zeros(2,2),requires_grad=True)>>> type(a)...原创 2019-01-11 09:56:39 · 534 阅读 · 0 评论 -
版本查看
查看cuda版本cat /usr/local/cuda/version.txt查看CUDNN版本cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2查看pytorch版本torch.__version__查看tensorflow版本tf.__version__Linux查看glibc安装版本...转载 2018-12-03 19:17:59 · 182 阅读 · 0 评论 -
class Field(RawField): File "/storage/st2/anaconda33/envs/python2/lib/python2.7/site-packages/t
class Field(RawField): File "/storage/st2/anaconda33/envs/python2/lib/python2.7/site-packages/torchtext/data/field.py", line 118, in Field torch.float32: float,AttributeError: 'module' obje...原创 2019-02-19 16:31:35 · 1589 阅读 · 0 评论 -
torch代码解析 为什么要使用optimizer.zero_grad()
原文:https://blog.csdn.net/scut_salmon/article/details/82414730optimizer.zero_grad()意思是把梯度置零,也就是把loss关于weight的导数变成0.在学习pytorch的时候注意到,对于每个batch大都执行了这样的操作: # zero the parameter gradients ...转载 2019-04-21 10:02:54 · 491 阅读 · 0 评论 -
PyTorch之前向传播函数forward
参考:1.pytorch学习笔记(九):PyTorch结构介绍2.pytorch学习笔记(七):pytorch hook 和 关于pytorch backward过程的理解3.Pytorch入门学习(三):Neural Networks4.forward神经网络的典型处理如下所示:1. 定义可学习参数的网络结构(堆叠各层和层的设计);2. 数据集输入;3. 对输入进行处理...转载 2019-04-21 10:46:52 · 1989 阅读 · 0 评论 -
class LSTMCell 和Embedding
class LSTMCell(RNNCellBase): r"""A long short-term memory (LSTM) cell. .. math:: \begin{array}{ll} i = \sigma(W_{ii} x + b_{ii} + W_{hi} h + b_{hi}) \\ f = \sigma(W_...翻译 2019-04-21 21:36:11 · 699 阅读 · 0 评论 -
torch.mul torch.bmm
torch.bmm:https://blog.csdn.net/guotong1988/article/details/78707619参考https://blog.csdn.net/Real_Brilliant/article/details/85756477batch matrix multiply 相当于矩阵的乘法。>>> batch1 = torch....转载 2019-07-10 20:27:41 · 708 阅读 · 0 评论