
深度学习Pytorch框架
文章平均质量分 56
Pytorch
思考实践
以身作则,静待花开。长期主义,宇宙主义,价值导向。多角度分析问题,积极解决问题,不要停下来。THU-phd,CAS-master.
展开
-
print(torch.cuda.is_available()) False如何解决?GTX3090
然后重新开一个终端(一定要重开一个),pip检查一下版本是否对。Ctrl+F:cuda11.3 就在诸多版本中找到啦。nvcc -V 查看原来装的是cuda11.3版本。保证Cuda与Pytorch的版本对齐就可以了。然后 ↓↓↓检查一下就ok啦。原创 2023-11-09 01:26:09 · 538 阅读 · 0 评论 -
MiNE|互信息估计代码|pytorch版本
MiNE|互信息估计代码|pytorch版本原创 2022-12-21 09:21:01 · 2578 阅读 · 0 评论 -
Pytorch中的KL散度计算函数
Pytorch中的KL散度计算函数原创 2022-11-19 20:04:55 · 1165 阅读 · 0 评论 -
Lstm多变量时间序列预测框架|pytorch
我的意见如下:首先,要理清楚两个概念:一是多变量一般是指你在预测时考虑了主变量以外的其他变量,而不是说你要预测多个变量,预测多个变量当然是可以的,但效果特别差,这个我之前还和清华一个搞新能源预测的PhD讨论过,所以我们一般是多变量预测单变量,如果要预测多变量那就训练多个LSTM;二是步长的问题,我这里预测了4步,所以是多步。你所纠结的无非是预测的是下一时刻,然而我却直接经过转换变成了预测四个时刻,但这种写法其实是合理的。多步长预测一般有以下几种方法:第一种就是我这种,直接取最后一步,然后接一个MLP来转换成原创 2022-11-08 09:19:15 · 2774 阅读 · 4 评论 -
RuntimeError: The size of tensor a (96) must match the size of tensor b (7) at non-singleton dim2
RuntimeError: The size of tensor a (96) must match the size of tensor b (7) at non-singleton dim2原创 2022-11-08 01:33:36 · 2634 阅读 · 0 评论 -
Pytorch使用cnn处理多变量时间序列预测框架//未完待续
咱们用1d-cnn来做这个时间序列的特征提取有些小问题pytorch不像keras的卷积有padding='same'这种操作,如果我输入是(Batch_size,channel,sequence_length)这种shape的数据,我想输出后得到一样的shape怎么做呢?原创 2022-11-07 22:28:59 · 1161 阅读 · 0 评论 -
【Pytorch】torch_dct中解决AttributeError: module ‘torch‘ has no attribute ‘irfft‘
【Pytorch】torch_dct中解决AttributeError: module ‘torch‘ has no attribute ‘irfft‘转载 2022-11-02 15:40:22 · 647 阅读 · 0 评论 -
pytorch中常用拼接方法stack与cat|(转载)
pytorch中常用拼接方法stack与cat|(转载)转载 2022-11-02 15:00:00 · 549 阅读 · 0 评论 -
Fedformer中的小波变换(FEB-w模块)
Fedformer中的小波变换(FEB-w模块)原创 2022-10-30 11:27:23 · 935 阅读 · 0 评论 -
代码:时序数据分解为奇数列与偶数列再合并来自SCINET
看见SCINET源码,把时序数据分解成了奇数列与偶数列,好奇之下,重构一下代码~首先所谓的even sequence和odd sequence的意思就是分别为从x序列采样从0这个位置采样0,2,...,2n;从1这个位置采样1,3,...,2n±1;废话不多说,来看代码~,Splitting与zip_up_the_pants都是从Scinet源码里面拿出来的~,我只是简单测试了一下,方便更深入了解论文机制原创 2022-09-29 14:07:29 · 1120 阅读 · 0 评论 -
注意力机制热图可视化
注意力机制热图可视化原创 2022-09-27 09:30:36 · 4731 阅读 · 4 评论 -
时间序列通道注意力模块
时间序列通道注意力模块原创 2022-09-26 03:12:18 · 1325 阅读 · 2 评论 -
Pytorch遇到的坑:MSEloss的输入问题
Pytorch遇到的坑:为什么模型训练时,L1loss损失无法下降?原创 2022-09-26 03:11:21 · 1677 阅读 · 0 评论 -
如何理解与使用pytorch提供的nn.bilinear层//未完待续
如何理解与使用pytorch提供的nn.bilinear层原创 2022-09-25 21:01:57 · 1193 阅读 · 0 评论 -
Type of Tensor:Bilinear Forms
Tensor的一种:Bilinear tensor国内很少有这方面的资料原创 2022-09-24 23:53:35 · 139 阅读 · 0 评论 -
Linear基础上的creation
首先Linear 也是作用的向量的最后一个维度,nn.AvgPool1d也是作用的最后一个维度所以对一段时间序列(Batch_size,channel number,Length)一般的各种操作都是作用在Length上面的,所以也就是最后一个维度。比如我有一段数据x.shape=(batch_size=8,length=96,channel=7),我得先x.permute(0,2,1)一下把length放到最后一维,使我们的各种模块作用提取特征啥的,但网络模型的输出得和输入进行loss计算,又得x.原创 2022-09-24 22:01:17 · 433 阅读 · 0 评论 -
nn.AvgPool1d(kernel_size,stride,padding)与nn.AdaptiveAvgPool1d(N)
nn.AngPool1d(kernel_size,stride,padding)原创 2022-09-24 21:20:17 · 3474 阅读 · 0 评论 -
Pytorch|nn.Linear()维度问题
Pytorch|nn.Linear()维度问题原创 2022-09-18 16:35:57 · 825 阅读 · 0 评论 -
Tensorboard如何启动|详细步骤(windows与Ubuntu皆可用)
Tensorboard如何启动|详细步骤(windows与Ubuntu皆可用)原创 2022-09-13 19:09:58 · 4909 阅读 · 0 评论 -
pytorch替换numpy中的一些组件 //转载请注明来源
pytorch替换numpy中的一些组件 //转载请注明来源原创 2022-07-15 13:20:18 · 1077 阅读 · 0 评论 -
torch.nn—softmax
torch.nn—softmax原创 2022-07-14 01:48:31 · 837 阅读 · 0 评论 -
Pytorch Can‘t call numpy() on Tensor that requires grad. Use tensor.detach().numpy() instead.
Pytorch Can‘t call numpy() on Tensor that requires grad. Use tensor.detach().numpy() instead.原创 2022-07-12 00:23:35 · 1660 阅读 · 0 评论 -
python之TensorDataset和DataLoader - 知乎
python之TensorDataset和DataLoader - 知乎转载 2022-06-18 10:37:14 · 605 阅读 · 0 评论 -
Fedformer中的FEB模块与torch.nn.Parameter的简单理解
torch.nn.Parameter的简单理解//未完待续,待我看懂这段原创 2022-06-10 16:54:39 · 978 阅读 · 0 评论 -
torch.einsum[爱因斯坦求和]//未完待续
入门爱因斯坦简记法:是一种由爱因斯坦提出的,对向量、矩阵、张量的求和运算∑的求和简记法。在该简记法当中,省略掉的部分是:1)求和符号∑与2)求和号的下标i省略规则为:默认成对出现的下标(如下例1中的i和例2中的k)为求和下标。//讲...原创 2022-06-15 14:27:30 · 507 阅读 · 0 评论 -
torch.mean&&torch.stack用法总结
torch.stack()-function explanation转载 2022-06-04 21:14:41 · 332 阅读 · 0 评论 -
Pytorch.topk()用法总结
https://blog.csdn.net/qq_40714949/article/details/123017649转载 2022-06-04 08:48:09 · 445 阅读 · 0 评论 -
Pytorch:info about your GPU
import torchprint(torch.cuda.is_available()) # 查看GPu设备是否可用print(torch.cuda.device_count()) # 查看GPu设备数量print(torch.cuda.get_device_name()) # 查看当前GPu设备名称,默认设备id从0开始print(torch.cuda.current_device()) # 查看当前GPu设备idTrue1NVIDIA GeForce RTX 3090.原创 2022-05-29 15:58:19 · 148 阅读 · 0 评论 -
pytorch:解决训练数据不能被batchsize整除
训练seq2seq模型时,训练数据一般都不能刚好和batchsize成整数倍数关系。那么在每个epoch训练中,最后会剩余一组数据量<batchsize的数据。此时这些数据可能会不适合编写的网络形状,或者代码中reshape形状的部分,在rnn中还会不匹配隐状态形状。因为我的训练数据量很大,所以直接把最后一个不足batch的数据组抛弃就好。Data = Dataset_Predtimeenc = 0 if args.embed!='timeF' else 1flag = 'pred';转载 2022-05-27 14:17:24 · 2228 阅读 · 0 评论 -
torch.fft类下面的函数
这篇博客比较简洁给大家一个直观的对序列的傅里叶变换与其逆变换,具体可以参考底部链接torch.fft.fft&&torch.fft.iffttorch.fft.fft(input, n=None, dim=-1, norm=None) → Tensortorch.fft.fftn(input, s=None, dim=None, norm=None) → Tensorimport torch.fftx=8#x得是2的n次方t= torch.arange(x)t===原创 2022-05-13 20:02:07 · 6246 阅读 · 0 评论 -
pytorch中的contiguous()函数的浅浅解释
contiguous()有些tensor并不是占用一整块内存,而是由不同的数据块组成。contiguous()函数的作用:把tensor变成在内存中连续分布的形式。来自链接一contiguous一般与transpose,permute,view搭配使用:使用transpose或permute进行维度变换后,调用contiguous,然后方可使用view对维度进行变形(如:tensor_var.contiguous().view() ),示例如下:x = torch.Tensor(原创 2022-05-13 12:25:28 · 5217 阅读 · 0 评论 -
pytorch中的Permute转换
permute(dims)将tensor的维度换位。参数:参数是一系列的整数,代表原来张量的维度。比如三维就有0,1,2这些dimension。举个例子import torchimport numpy as npa=np.array([[[1,2,3,4],[4,5,6,7]]])unpermuted=torch.tensor(a)print(a)print(unpermuted.size()) # ——> torch.Size([1, 2, 3])原创 2022-05-13 10:20:47 · 368 阅读 · 0 评论 -
Pytorch_GAN_mnist细节讲解从理论到实践
理论部分理论部分,网上一大堆资料,按自己的思路整理了一遍,尽量把每个细节(理论、公式、训练方式、代码),给大家讲解清楚,个人花了一天时间入门Gan的基础,其实对于大部分人都是做应用,但是还是如果感兴趣,还是得花功夫在数学上,里面一些细节的推导,设计到数学基础,就会感觉有些许吃力,不过说实话,目前的遇见的问题数学基础还都只是大学数学就能解释的。//从简洁的概念解释,到GAN的loss函数的理解,训练方式,GAN的理论强大之处简单理解与实验生成对抗网络GAN_我爱智能-CSDN...原创 2021-12-16 09:43:33 · 2336 阅读 · 0 评论 -
Pytorch_lstm详细讲解
1.详细讲解官方文档的例子: 这里有个老哥先带你回顾一下lstm的理论知识:pytorch中lstm参数与案例理解。_wangwangstone的博客-CSDN博客_torch.lstmRNN_了不起的赵队-CSDN博客_rnn这里主要要领清楚堆叠lstm层,使用的hidden state从lstm1着一层传到lstm2着一层,而不是一行中的几个lstm1单元连在一块的意思。 这个图就可以理解为3个lstm1连在一块了,...原创 2021-12-13 23:20:20 · 36046 阅读 · 21 评论 -
关于reshape(-1,...)与view(-1,...)这两个改变张量shape的函数
它俩的细节参考链接都说的很明白我就不赘述了,我主要讲一下我那lstm处理mnist数据集的时候需要对数据集进行一个处理,方便把数据按模型input_size设定的那样喂给它。import torch import torch.nn as nnimport torchvisionimport torchvision.transforms as transforms# Device configurationdevice = torch.device('c...原创 2021-12-13 22:23:07 · 2496 阅读 · 0 评论 -
如何查看pytorch里面tensor的形状信息?
import torchtorch = torch.randn(2,3,4)print(torch.shape())报错:TypeError: 'torch.Size' object is not callable改用 print(torch.size()) print(torch.size(0)) print(torch.size(1)) ··· ··· ··· print(.原创 2021-12-13 22:05:16 · 4228 阅读 · 0 评论 -
Pytorch_flatten()函数
Talk is cheap, show me the code.import torcht = torch.tensor([[[1, 2], [3, 4]], [[5, 6], [7, 8]], [[9, 10], [11, 12]]])print(torch.flatten(t)原创 2021-12-12 23:02:04 · 926 阅读 · 0 评论 -
TensorboardX_pytorch笔记(亟待完成)
参考资料TensorBoard in PyTorch详解PyTorch项目使用TensorboardX进行训练可视化详解PyTorch项目使用TensorboardX进行训练可视化_浅度寺-CSDN博客_tensorboardx解PyTorch项目使用TensorboardX进行训练可视化PyTorch绘制训练过程的accuracy和loss曲线_Tequila-CSDN博客_pytorch绘制loss曲线Pytorch使用tensorboardX可视化。超详细!!!Pyt..原创 2021-12-12 21:35:55 · 814 阅读 · 0 评论 -
torchvision.transforms
PyTorch框架中有一个非常重要且好用的计算机视觉包:torchvision,该包主要由3个子包组成,分别是:torchvision.datasets(视觉数据集)、torchvision.models(视觉模型)、torchvision.transforms(数据增强)。这3个子包的具体介绍可以参考官网:http://pytorch.org/docs/master/torchvision/index.html具体代码可以参考github:https://gi...原创 2021-12-12 16:25:58 · 343 阅读 · 0 评论 -
Pytorch加载自己的图片分类数据集(torchvision.datasets.ImageFolder使用详解(数据加载器))
假设数据集文件夹与你的.py文件同路径,如下结构,在这里,我是一个二分类任务的数据集:├─ project │ ├─ main.py │ ├─ dataSet │ │ ├─ train ├─ ants ├─ bees │ │ ├─ val ├─ ...原创 2021-12-12 10:18:30 · 2334 阅读 · 0 评论