pytorch 使用
jk英菲尼迪
这个作者很懒,什么都没留下…
展开
-
卷积核的尺寸,数量,通道数(网上资料整合)
1. 输入矩阵x格式:四个维度,依次为:样本数、图像高度、图像宽度、图像通道数输入 x:[batch, height, width, in_channel] 四个维度 权重 w:[height, width, in_channel, out_channel] 输出 y:[batch, height, width, out_channel] 如图所示: Input:batch=1, height=8, width=8, in_channel=3 (四维矩阵) Ker...转载 2020-08-14 12:09:23 · 36278 阅读 · 2 评论 -
torch.sum(),dim=0,dim=1
dim=0:(行归一)纵向压缩dim=1: (列归一)横向压缩tensor([[ 1, 2, 3], [ 4, 5, 6]])# 2行3列,没毛病#dim=0 纵向压缩,保留行b = torch.sum(a,dim=0)print(b)输出:tensor([ 5, 7, 9])#dim=1,横向压缩,保留列c = torch.sum(a,dim=1)print(c)输出:tensor([ 6, 15])...原创 2020-08-13 17:30:30 · 3078 阅读 · 0 评论 -
卷积神经网络中各个卷积层的设置及输出大小计算的详细讲解
我将从以下几个方面来进行解说:1.卷积神经网络的结构2.卷积神经网络的计算3.以AlexNet为例进行详细讲解4.常见的两个卷积层设置的问题1.卷积神经网络的结构卷积神经网络(CNN)由输入层、卷积层、激活函数、池化层、全连接层组成,即INPUT(输入层)-CONV(卷积层)-RELU(激活函数)-POOL(池化层)-FC(全连接层)我们用一个图进行展示:2.卷积神经网络的计算卷积神将网络的计算公式为:N=(W-F+2P)/S+1其中N:输出大小W:输入大小F:卷积核大小P转载 2020-08-13 16:58:02 · 3782 阅读 · 0 评论 -
pytorch教程之损失函数详解——多种定义损失函数的方法
转载自:https://blog.csdn.net/qq_27825451/article/details/95165265不管是定义层还是损失函数,方法有很多,但是通过统一的接口nn.Module是最便于查看的,这也是pytorch的优点之一,模型、层、损失函数的定义具有统一性,都是通过Module类来完成。一、回顾1.1 关于nn.Module 和 nn.functional 区别和联系前面讲过,自定义层的时候可以通过nn.Module 和 nn.functional二者来完成,但是推荐转载 2020-07-27 15:23:57 · 1980 阅读 · 0 评论 -
torch.nn库和torch.nn.functional库
nn.functional可以看作nn的子库,nn的功能要多一些,还可以实现如Sequential()这种将多个层弄到一个序列这样复杂的操作。大部分nn中的层class都有nn.function对应,其区别是:nn.Module实现的layer是由class Layer(nn.Module)定义的特殊类,会自动提取可学习参数nn.Parameter nn.functional中的函数更像是纯函数,由def function(input)定义。由于两者性能差异不大,所以具体使用取决于个人喜好。对于转载 2020-07-27 15:09:09 · 8285 阅读 · 2 评论 -
torch.nn和torch.autograd
扩展torch.autograd如果想要添加一个新的Operation 到autograd的话,我们的operation需要继承class Function. autograd使用Function计算结果和梯度,同时编码operation的历史。Function一般只定义一个操作,并且它无法保存参数,一般适用于激活函数,pooling等,它需要定义三个方法,init(),forward(),backward()(需要自己定义求导规则)torch.nn.Module和torch.autograd.转载 2020-07-27 11:54:35 · 293 阅读 · 0 评论 -
nn.Sequential,torch.nn.Module和torch.autograd.Function
参考自:https://blog.csdn.net/qq_27825451/category_8866856.html对于简单模型,我们可以使用torch.nn.Sequential类来实现简单的顺序连接模型,这个模型也是继承自Module类的。https://blog.csdn.net/qq_27825451/article/details/90551513...转载 2020-07-23 15:54:29 · 364 阅读 · 0 评论 -
nn.Module类详解
torch.nn.Module 这个类的内部有多达 48 个函数,这个类是 PyTorch 中所有 neural network module 的基类,自己创建的网络模型都是这个类的子类,下边是一个示例。这篇文章就和大家一起来阅读一下这个 base class 。import torch.nn as nnimport torch.nn.functional as Fclass Model(nn.Module): def __init__(self): super(Mode转载 2020-07-22 17:15:12 · 1477 阅读 · 0 评论 -
Pytorch之gather的用法
参考: https://blog.csdn.net/qq_20225851/article/details/106873783转载 2020-07-10 09:55:37 · 290 阅读 · 0 评论 -
tensor及其 基本操作
https://zhuanlan.zhihu.com/p/36233589转载 2020-07-09 19:53:01 · 476 阅读 · 0 评论 -
pytorch加载数据与预处理数据
转载:pytorch加载数据与预处理数据 - pytorch中文网原文出处: https://ptorch.com/news/140.html 解决任何机器学习问题需要付出很多努力来准备数据。PyTorch提供了许多工具可以使数据加载变得轻松而有希望,从而使您的代码更具可读性。在本教程中,我们将看到如何对不一般的数据进行加载和预处理/数据增强。要运行本教程,请确保已安装以下的...转载 2018-12-03 20:16:14 · 1480 阅读 · 0 评论 -
visdom 使用指南
原文:https://blog.csdn.net/LXX516/article/details/79019328 启动python -m visdom.server在浏览器输入:http://localhost:8097/,即可启动2. 可视化损失函数的示例首先介绍一下visdom中的line()函数:1) 画一条直线 from visdom import...转载 2018-12-05 15:21:03 · 15561 阅读 · 0 评论 -
pytorch 基本操作 生成随机数Tensor的方法汇总(标准分布、正态分布……)
转载自:https://zhuanlan.zhihu.com/p/31231210在使用PyTorch做实验时经常会用到生成随机数Tensor的方法,比如:torch.rand()torch.randn()torch.normal()torch.linespace()在很长一段时间里我都没有区分这些方法生成的随机数究竟有什么不同,由此在做实验的时候经常会引起一些莫名其妙的麻烦。所以在此做一个总结,...转载 2018-04-20 16:29:18 · 5409 阅读 · 0 评论 -
pytorch学习笔记 -- 博主写了一个系列的文档
转载自:https://blog.csdn.net/kongshuchen/article/details/72285709(10)使用Pytorch实现ResNet ResNet要解决的问题 深度学习网络的深度对最后的分类和识别的效果有着很大的影响,所以正常想法就是能把网络设计的越深越好,但是事实上却不是这样,常规的网络的堆叠(plain network)在网络很深的时候,效果却越来越差了。 其...转载 2018-04-20 17:22:01 · 436 阅读 · 0 评论 -
python3+pytorch之关系拟合(回归)
zhuanzaizi: https://www.imooc.com/article/24300?block_id=tuijian_wz这个小节呢就是见证或者说学习神经网络是如何通过简单的形式将一群数据用一条线来表示,也就是说,在一堆数据中如何找到他们之间的关系,然后用神经网络模型来建立一个可以代表他们关系的线条。至于机器学习中分类器和回归的概念呢,这里就不做阐述,可以参见CSDN链接链接描...转载 2018-05-03 10:13:45 · 1383 阅读 · 0 评论 -
pytorch迁移学习
(8)迁移学习(Transfer Learning) 接下来将会使用ResNet进行迁移学习,完成图片分类。目前迁移学习的方式主要有两种,一种是fineturning,就是只改变pretrain网络最后一层或者几层的网络结构,对于pretrain网络的全局参数在原来的基础上进行微调;另外一种是将ConvNet当做一个特征提取器(Feature Extractor),结构方面只改变pretrain网...转载 2018-04-25 20:24:11 · 639 阅读 · 0 评论 -
python可视化库matplotlib有两种显示模式
转载自:https://blog.csdn.net/SZuoDao/article/details/52973621介绍在使用matplotlib的过程中,发现不能像matlab一样同时开几个窗口进行比较,于是查询得知了交互模式,但是放在脚本里运行的适合却总是一闪而过,图像并不停留,遂仔细阅读和理解了一下文档,记下解决办法,问题比较简单,仅供菜鸟参考。python可视化库matplotlib有两种...转载 2018-05-11 16:40:50 · 3545 阅读 · 0 评论 -
pytorch基本操作
官方手册Learning PyTorch with Examples的翻译: https://blog.csdn.net/tsq292978891/article/details/79380000pytorch反向求导更新网络参数: https://blog.csdn.net/tsq292978891/article/details/79333707定义torch.autograd.Functio...转载 2018-05-11 20:23:16 · 573 阅读 · 0 评论 -
PyTorch结构介绍
转载自:https://blog.csdn.net/u012436149/article/details/70145598对PyTorch架构的粗浅理解,不能保证完全正确,但是希望可以从更高层次上对PyTorch上有个整体把握。水平有限,如有错误,欢迎指错,谢谢!几个重要的类型和数值相关的TensorVariableParameterbuffer(这个其实不能叫做类型,其实他就是用来保存tenso...转载 2018-05-18 10:38:54 · 4098 阅读 · 1 评论 -
pytorch学习笔记(八):PytTorch可视化工具 visdom
Visdom PyTorch可视化工具本文翻译的时候把 略去了 Torch部分。项目地址一个灵活的可视化工具,可用来对于 实时,富数据的 创建,组织和共享。支持Torch和Numpy。总览基本概念Setup启动可视化接口总结总览Visdom目的是促进远程数据的可视化,重点是支持科学实验。。向您和您的合作者发送可视化 图像,图片和文本。通过编程组织您的可视化空间,或者通过UI为实时数据创建dashb...转载 2018-05-31 15:38:58 · 719 阅读 · 0 评论 -
CycleGan的简单运行
转载:http://blog.sina.com.cn/s/blog_a99f842a0102xf9z.html一、环境配置——创建conda虚拟环境,安装python3.5+pytorch+cuda8.0+cudnn0. 安装anaconda1.创建conda虚拟环境+安装python3.5conda create -n xxxxx python=3.5(xxxxx表示自定义环境名字,=后面是py...转载 2018-05-31 16:26:55 · 9963 阅读 · 4 评论 -
吐血整理:PyTorch项目代码与资源列表 | 资源下载
转载:https://www.sohu.com/a/164171974_741733本文收集了大量基于 PyTorch 实现的代码链接,其中有适用于深度学习新手的“入门指导系列”,也有适用于老司机的论文代码实现,包括 Attention Based CNN、A3C、WGAN等等。所有代码均按照所属技术领域分类,包括机器视觉/图像相关、自然语言处理相关、强化学习相关等等。所以如果你打算入手这风行一世...转载 2018-05-31 16:35:59 · 3275 阅读 · 0 评论 -
pytorch 中visdom加载失败
解决方案:https://blog.csdn.net/qq_22194315/article/details/78827185https://blog.csdn.net/AnthongDai/article/details/79117472http://tieba.baidu.com/p/5397000061原创 2018-05-31 16:57:02 · 1605 阅读 · 0 评论 -
[调参技巧]深度机器学习中的batch的大小对学习效果有何影响?
Batch_size参数的作用:决定了下降的方向。极端一:batch_size为全数据集(Full Batch Learning):好处:1.由全数据集确定的方向能够更好地代表样本总体,从而更准确地朝向极值所在的方向。2.由于不同权重的梯度值差别巨大,因此选择一个全局的学习率很困难。Full Batch Learning可以使用Rprop只基于梯度符号并且针对性单独更新各权值。坏处:1.随着数据集...转载 2018-06-02 12:35:40 · 447 阅读 · 0 评论 -
pytorch 减小显存消耗,优化显存使用,避免out of memory
转载自:https://blog.csdn.net/qq_28660035/article/details/80688427本文是整理了大神的两篇博客:如何计算模型以及中间变量的显存占用大小:https://oldpan.me/archives/how-to-calculate-gpu-memory如何在Pytorch中精细化利用显存:https://oldpan.me/a...转载 2018-11-06 15:52:44 · 4791 阅读 · 0 评论 -
卷积神经网络
转载自村头陶员外的博客: https://blog.csdn.net/Mr_tyting/article/details/71881984上一篇我们详细讲解了人工神经网络以及DNN的原理。CNN主要应用在图像处理方面。这一讲我们将详细讲解卷积神经网络CNN的原理以及在深度学习框架pytorch上的实现。在讲CNN之前我们需要了解这么几个问题? ①人工神经网络能用到计算机视觉上吗? 答:能 ②那么...转载 2018-04-24 15:12:56 · 743 阅读 · 0 评论