![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
pytorch学习笔记
Nstar-LDS
n品炼丹师
展开
-
pytorch中GPU的使用
CPU与GPU数据迁移至GPU多GPU并行运算原创 2020-04-14 17:25:31 · 878 阅读 · 0 评论 -
pytorch中的模型保存与加载
文章目录存储和装载(序列化与反序列化)基本概念pytorch中的序列化与反序列化torch.save()使用方法torch.load()动手实验整模型存储模型可学习参数存储断点续训练该篇笔记整理自余庭嵩的讲解。存储和装载(序列化与反序列化)基本概念模型在训练的时候,各个参数都是存储在内存中的,但是内存不具备长久存储数据的功能,所以就需要将内存中的数据搬到硬盘上进行存储,以备后续用途。而模型...原创 2020-03-27 17:14:36 · 643 阅读 · 2 评论 -
常见的几种normalization方法
文章目录几种常见的normalization方法基本知识数学原理Batch Normalization (BN)Layer Normalization (LN)pytorch中的LNInstance Normalization (IN)Group Normalization (GN)PyTorch中的使用总结这篇笔记主要来自余庭嵩的讲解。几种常见的normalization方法基本知识为什...原创 2020-03-26 20:23:04 · 762 阅读 · 1 评论 -
动手理解Batch Normalization
文章目录Batch Normalization基础知识数学原理PyTorch中的BN实验部分torch.nn.BatchNorm1dtorch.nn.BatchNorm2dtorch.nn.BatchNorm3dBatch Normalization的概念出自《Batch Normalization: Accelerating Deep Network Training by Reducing ...原创 2020-03-25 22:55:08 · 484 阅读 · 0 评论 -
pytorch中的正则化方法
基础简介正则化的含义:其实正则化就是减小方差的策略。那么什么是方差,为什么要减小方差?这里首先要提到误差的本质。误差可以分解为偏差,方差以及噪声之和,具体如何分解可参考个人之前写的这篇笔记最后部分的推导。三者的意义可描述如下:偏差:度量了学习算法的期望预测结果与真实结果的偏离程度,刻画了学习算法本身的拟合能力方差:度量了同样大小的训练集的变动所导致的学习性能的变化,刻画了数据扰动造成的影...原创 2020-03-24 21:38:09 · 4599 阅读 · 1 评论 -
TensorBoard使用
TensorBoardTensorBoard是TensorFlow中强大的可视化工具,其运行机理过程如下。首先python脚本用SummaryWriter记录可视化的数据,接下来数据将以event file形式被存储至硬盘中,之后在命令行启动tensorboard并指定数据存储位置,每隔30s的时间(可自己设定)读取硬盘指定存储位置中的数据在web端做出展示。SummaryWriter功能...原创 2020-03-17 15:27:20 · 1174 阅读 · 0 评论 -
图解6种pytorch学习率调整策略
文章目录学习率调整策略基础知识pytorch中的6种学习率调整策略StepLR数学原理代码实例MultiStepLR数学原理代码实例ExponentialLR数学原理代码实例CosineAnnealingLR数学原理代码实例ReduceLRonPlateau数学原理代码实例LambdaLR数学原理代码实例总结该篇笔记整理自余庭嵩的讲解。学习率调整策略基础知识梯度下降算法中的学习率的作用是:...原创 2020-03-16 17:09:11 · 2804 阅读 · 1 评论 -
10种优化迭代算法基础详解及其pytorch实现
基本概念优化器的功能:管理并更新模型中可学习参数的值,使得模型输出更接近真实标签。这里的可学习参数一般就是指权值和偏置了,管理指优化器可以修改哪一部分参数。更新就是优化器的更新策略,每个不同的优化器会采取不同的策略去更新参数的值,这里策略通常是梯度下降。在展开讨论之前,先明确下面几个基本概念:导数:函数在指定坐标轴上的变化率方向导数:指定方向上的变化率梯度:一个向量。方向为使得方向导...原创 2020-03-14 19:43:01 · 5576 阅读 · 0 评论 -
18种损失函数全详解及其PyTorch实现与机制
文章目录基础概念损失函数(Loss Function)代价函数(Cost Function)目标函数(Objective Function)PyTorch实现与机制nn.CrossEntropyLoss功能与使用数学原理信息熵相对熵(KL散度)交叉熵使用实例nn.NLLLoss()功能与使用数学原理nn.BCELoss()功能与使用数学原理nn.BCEWithLogitsLoss()nn.L1Lo...原创 2020-03-09 17:45:56 · 9802 阅读 · 4 评论 -
PyTorch中DataLoader与Dataset的使用、关系&原理
DataLoader(torch.utils.data.DataLoader)功能:构建可迭代的数据装载器类中的几个主要变量定义功能介绍如下,除此之外还有11个参数dataset:Dataset类,决定数据从哪里读取以及如何读取batchsize:批处理的大小num_works:是否多进程读取数据shuffle:每个epoch是否乱序 (true or false)drop_last...原创 2020-03-05 16:17:52 · 3008 阅读 · 0 评论 -
PyTorch张量操作(拼接、切分、索引、维度变换)
文章目录张量拼接使用torch.cat()使用torch.stack()对比张量切分使用torch.chunk()使用torch.split()张量索引使用torch.index_select()使用torch.masked_select()张量维度变换使用torch.reshape()使用torch.transpose()使用torch.squeeze()张量拼接使用torch.cat()...原创 2020-03-02 15:06:06 · 2338 阅读 · 0 评论