PyTorch
文章平均质量分 61
huangpg丶
这个作者很懒,什么都没留下…
展开
-
Pytorch:学习率设置笔记
torch.optim.lr_scheduler 包中封装了几种基于epoch的学习率调整方法。一、StepLRtorch.optim.lr_scheduler.StepLR(optimizer, step_size, gamma=0.1, last_epoch=-1)Sets the learning rate of each parameter group to the initi...原创 2018-12-07 01:35:42 · 889 阅读 · 0 评论 -
Pytorch:优化方法笔记
大部分的机器学习算法的本质都是建立优化模型,通过最优化方法对目标函数(或损失函数)进行优化,从而训练出最好的模型。优化算法可以加快收敛速度(未加入优化的神经网络训练时间比加入优化后时间更短),甚至得到一个更好更小的损失函数值。优化算法能帮你快速高效地训练模型。在Pytorch中,优化算法封装在torch.optim模块中。一、Optimizer用法optimizer = torch....原创 2018-12-07 01:34:56 · 929 阅读 · 0 评论 -
Pytorch:参数初始化 笔记
一、参数初始化概述在设计好神经网络结构之后,权重初始化方式会很大程度上影响模型的训练过程和最终效果。权重初始化方式包括ImageNet预训练参数,kaiming_uniform方式以及多种权重初始化方式。这篇笔记主要记录一下Pytorch中内置的各种权重初始化方式的原理与使用。神经网络中需要进行参数初始化操作的有Linear,Conv,BN等。 二、Pytorch中的参数初始化...原创 2018-12-06 17:13:39 · 15735 阅读 · 1 评论 -
Pytorch:官方教程 -- A 60 MINUTE BLITZ
版本 : pytorch 1.0.0.dev20181128一、Pytorch简介 可以在GPU高速运行的numpy替代库 一个灵活快速的深度学习框架 主要包含 tensor 和 nn.module 两个核心模块########### Tensor定义 ###########x1 = torch.empty(2, 3)x2 = torch.rand(2, 3)...原创 2018-12-06 14:51:31 · 776 阅读 · 0 评论 -
Pytorch:多GPU训练网络与单GPU训练网络保存模型的区别
测试环境:Python3.6 + Pytorch0.4在pytorch中,使用多GPU训练网络需要用到 【nn.DataParallel】:gpu_ids = [0, 1, 2, 3]device = t.device("cuda:0" if t.cuda.is_available() else "cpu") # 只能单GPU运行net = LeNet()if len(gpu...原创 2018-12-05 22:57:56 · 5022 阅读 · 1 评论 -
Pytorch训练神经网络样例代码 -- 单文件版
这篇博客使用LeNet网络结构针对数据集Cifar10训练深度神经网络分类器。主要是作为以后编码神经网络代码的一种编程习惯。尤其注意其中封装的根据gpu_ids自动使用相关GPU进行训练的代码模块。 【 train.py 】import torch as timport torchvision as tvimport torchvision.transforms as transf...原创 2018-12-05 21:03:10 · 2310 阅读 · 1 评论 -
Pytorch:源码笔记 ResNet
源码:import torch.nn as nnimport torch.utils.model_zoo as model_zoo# 由于ResNet中只有3*3和1*1两种卷积核,所以封装一下方便后面使用def conv3x3(in_channels, out_channels, stride=1): return nn.Conv2d(in_channels, out_c...原创 2018-11-30 20:27:06 · 293 阅读 · 0 评论 -
wgan-gp
import randomimport numpy as npimport torchfrom matplotlib import pyplot as pltfrom torch import nn, optim, autogradfrom visdom import Visdom# 生成real-data数据集def data_generator(): """ ...原创 2019-04-21 19:25:49 · 302 阅读 · 0 评论