![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
pytorch
文章平均质量分 78
酷酷的橙007
哈尔滨工业大学控制科学与工程专业博士在读,前端工程师,算法工程师
展开
-
Pytorch实现transformer并对时间序列预测
利用Pytorch框架实现用transformer通过输入sine预测cos,代码如下:1. 网络结构import mathimport torchfrom torch import nnclass PositionalEncoding(nn.Module): def __init__(self, d_model, dropout=0.1, max_len=5000): super(PositionalEncoding, self).__init__()原创 2021-07-07 21:34:53 · 5047 阅读 · 5 评论 -
Pytorch实现利用循环神经网络预测时间序列
最近做了利用RNN实现一个回归预测问题的小项目,在这里总结一下,方便下次使用。代码参考莫烦python——RNN 循环神经网络 (回归):https://ptorch.com/docs/4/pytorch-video-RNN-regression/https://morvanzhou.github.io/tutorials/machine-learning/torch/4-03-RNN-regression/0. 构建数据集我们的任务目的是用sin函数预测cos函数,因此首先构造数据集。这里我原创 2021-07-07 16:49:45 · 1064 阅读 · 0 评论 -
RuntimeError: Trying to backward through the graph a second time, but the buffers have already been
报错信息RuntimeError: Trying to backward through the graph a second time, but the buffers have already been freed. Specify retain_graph=True when calling backward the first time.方法一网上大部分的方法是这样的,在backward()函数中添加参数retain_graph=True:loss.backward(retain_graph原创 2021-06-28 10:50:25 · 1457 阅读 · 0 评论 -
一文读懂循环神经网络(RNN、LSTM、GRU)
目标能够说出循环神经网络的概念和作用能够说出循环神经网络的类型和应用场景能够说出LSTM的作用和原理能够说出GRU的作用和原理1. 循环神经网络的介绍为什么有了神经网络还需要有循环神经网络?在普通的神经网络中,信息的传递是单向的,这种限制虽然使得网络变得更容易学习,但在一定程度上也减弱了神经网络模型的能力。特別是在很多现实任务中,网络的输出不仅和当前时刻的输入相关,也和其过去一段时间的输出相关。此外,普通网络难以处理时序数据,比如视频、语音、文本等,时序数据的长度一般是不固定的,而前馈神经原创 2021-01-03 16:56:46 · 1269 阅读 · 0 评论 -
使用Pytorch实现手写数字识别(Mnist数据集)
目标知道如何使用Pytorch完成神经网络的构建知道Pytorch中激活函数的使用方法知道Pytorch中torchvision.transforms中常见图形处理函数的使用知道如何训练模型和如何评估模型1. 思路和流程分析流程:准备数据,这些需要准备DataLoader构建模型,这里可以使用torch构造一个深层的神经网络模型的训练模型的保存,保存模型,后续持续使用模型的评估,使用测试集,观察模型的好坏2. 准备训练集和测试集准备数据集的方法前面已经讲过,但是通过前面的内原创 2021-01-02 21:06:58 · 4947 阅读 · 6 评论 -
Pytorch中的数据加载
目标知道数据加载的目的知道pytorch中Dataset的使用方法知道pytorch中DataLoader的使用方法知道pytorch中的自带数据集如何获取1.原创 2020-12-26 13:14:36 · 492 阅读 · 0 评论 -
Pytorch基础模型组件、GPU优化及常见梯度优化算法
目标知道Pytorch中Module的使用方法知道Pytorch中优化器类的使用方法知道Pytorch中常见的损失函数的使用方法知道如何在GPU上运行代码能够说出常见的优化器及其原理1. Pytorch完成模型常用API在前一部分,我们自己实现了通过torch的相关方法完成反向传播和参数更新【PyTorch手动实现线性回归】,在pytorch中预设了一些更加灵活简单的对象,让我们来构造模型、定义损失,优化损失等那么接下来,我们一起来了解一下其中常用的API1.1 nn.Modulen原创 2020-12-21 11:05:41 · 569 阅读 · 2 评论 -
PyTorch手动实现线性回归
目录目标1. 前向计算1.1 计算过程1.2 requires_grad和grad_fn2. 梯度计算3. 线性回归实现目标知道requires_grad的作用知道如何使用backward知道如何手动完成线性回归1. 前向计算对于pytorch中的一个tensor,如果设置它的属性.requires_grad为True,那么它将会追踪对于该张量的所有操作。或者可以理解为,这个tensor是一个参数,后续会被计算梯度,更新该参数。1.1 计算过程假设有以下条件(1/4表示求均值,xi中有4原创 2020-12-19 12:08:27 · 829 阅读 · 1 评论 -
梯度下降和反向传播(理论基础)
目标知道什么是梯度下降知道什么是反向传播1. 梯度是什么?梯度:是一个向量,导数+变化最快的方向(学习的前进方向)回顾机器学习收集数据x,构建机器学习模型f,得到 f(x,w) = Ypredict判断模型好坏的方法:回归损失:loss = (Ypredict - Ytrue)2分类损失:loss = Ytrue·log(Ypredict)目标:通过调整(学习)参数w,尽可能的降低loss,那么我们该如何调整w呢?随机选择一个起始点w0,通过调整w0,让loss函数取到最小值原创 2020-12-18 23:27:35 · 1847 阅读 · 0 评论 -
PyTorch环境配置及安装(Windows10)
新手在配置pytorch过程中总会或多或少遇到些问题,同时网上关于pytorch的环境配置琳琅满目,不知道应该按照哪个配置,这里笔者记录一下自己在windows10下配置Pytorch的全过程。笔者电脑环境以及安装版本为:Windows10 企业版 + python 3.7.9 + Anaconda3 + GTX 1050显卡 + pytorch 1.7.1安装视频参考:https://www.bilibili.com/video/BV1hE411t7RN?p=11. Anaconda安装这里推荐大原创 2020-12-18 11:37:00 · 14990 阅读 · 1 评论 -
Pytorch中Tensor(张量)的入门使用
目录目标1. 张量Tensor2. Pytorch中创建张量3. Pytorch中tensor的常用方法4. tensor的数据类型5. tensor的其他操作视频参考目标知道张量和Pytorch中的张量知道pytorch中如何创建张量知道pytorch中tensore的常见方法知道pytorch中tensor的数据类型知道pytorcht中如何实现tensor在cpu和cuda中转化1. 张量Tensor张量是一个统称,其中包含很多类型0阶张量:标量、常数,0-D Tensor1原创 2020-12-16 21:30:09 · 3991 阅读 · 0 评论