pytorch
Zaгathustra
这个作者很懒,什么都没留下…
展开
-
Pytorch不使用bias
将bias设置为false即可def conv_bn(inp, oup, stride): return nn.Sequential( nn.Conv2d(inp, oup, 3, stride, 1, bias=False), nn.BatchNorm2d(oup), nn.ReLU(inplace=True) )原创 2022-04-13 20:05:32 · 1007 阅读 · 0 评论 -
不同自定义的dataset,生成的dataloader用tqdm和enumerate如何读取
之前遇到的问题是,我自己定义了dataset的类,类似于下面的代码class DealDataset(Dataset): """ 下载数据、初始化数据,都可以在这里完成 """ def __init__(self): xy = np.loadtxt('../dataSet/diabetes.csv.gz', delimiter=',', dtype=np.float32) # 使用numpy读取数据 self.x_data = t原创 2021-12-09 11:47:29 · 3233 阅读 · 0 评论 -
spiking neural network 学习之编码器
时间驱动:编码器 — spikingjelly alpha 文档https://spikingjelly.readthedocs.io/zh_CN/latest/clock_driven/2_encoding.html这个文档写得很详细了,这里主要补充自己的理解。spiking neural network 神经元的输入和输出都是0,1序列,·但是图像,语音等数据都是离散值,因此需要编码比如泊松编码器的举例,泊松编码器将输入数据x编码为发放次数分布符合泊松过程的脉冲序列,输入是512*512的灰..原创 2021-12-07 10:01:27 · 948 阅读 · 0 评论 -
学习spiking neural network代码过程问题记录
在github上搜到了spikingjelly的包,决定用这个1.安装直接使用pip install spikingjelly,报错Could not install packages due to an EnvironmentError解决办法错误解决:Could not install packages due to an EnvironmentError_Stephanie的博客-CSDN博客2.准备做第一个例子发现不知道parser是什么,查询parser.add_ar.原创 2021-12-06 13:14:08 · 1261 阅读 · 0 评论 -
错误解决:Could not install packages due to an EnvironmentError
按提示输入 pip install --user spikingjelly装好了,但是出现警告这个包不在环境变量PATH,首先把这个目录添加到环境变量中在spyder的console中,输入import syssys.path.append('C:\\Users\\user')注意路径要用双斜杠...原创 2021-12-06 11:12:22 · 1390 阅读 · 0 评论 -
pytorch dataloader性质
train_dataset = MyDataset(train_data, train_label.long())train_loader = DataLoader(train_dataset, batch_size = Batch_Size,shuffle = True)类似于这样的train_loader数据长度train_loader.dataset.__len__()这个是因为定义MyDataset的时候有定义__len__...原创 2021-09-05 22:08:35 · 167 阅读 · 0 评论 -
用lstm均衡信号
这张图真是太帮助理解了参考原创 2021-08-31 21:37:13 · 203 阅读 · 0 评论 -
pytorch tensor numpy list 相互转换
1.numpy与torch tensor类型转换np_data=np.arange(6).reshape(2,3)# numpy类型转torchtorch_data=torch.from_numpy(np_data)#torch转回numpytensor2array=torch_data.numpy()2.numpy listnp_data=np.arange(6).reshape(2,3)#np转listlist_data=np_data.tolist()#list转原创 2021-07-03 13:24:22 · 407 阅读 · 0 评论 -
如何训练GAN?训练GAN的技巧和方法
https://github.com/soumith/ganhacks1.输入归一化把信号归一化到-1 到1generator的最后一层输出用Tanh2.使用修饰过后的损失函数在GAN的文章中,generator的损失函数是min(log 1-D) 但是在实际中会用max(log D)因为前一个式子在早期会有梯度消失的问题 Goodfellow et. al (2014)在实际中的好方法:训练生成器时翻转标签:real = fake, fake = real3.使用球体Z原创 2021-03-05 21:38:58 · 8934 阅读 · 2 评论 -
吴恩达DeepLearning.ai之生成对抗网络GAN笔记
BCE Cost Function, binary cross entropy对于第一项,对实际是1的情况比较重要,如果实际是1,预测是1,loss比较小,实际是1,预测是0,loss比较大对于第一项,对实际是0的情况比较重要,如果实际是0,预测是0,loss比较小,实际是0,预测是1,loss比较大尾部会饱和tanh和sigmoid有相同的饱和问题,tanh的特点是负数被保留,在某些应用中很有用batch normalizationhttps://www原创 2021-02-28 17:45:17 · 873 阅读 · 0 评论 -
理解pytorch中的梯度
粗浅理解就是,只有变量才有梯度,因为梯度是求导得来的嘛"""Created on Tue Jan 12 16:41:46 2021认识pytorch中的梯度@author: user"""import torchfrom torch.autograd import Variablex11=torch.Tensor([1])x12=torch.Tensor([2])w11=torch.Tensor([0.1])w12=torch.Tensor([0.2])x11 = Variab原创 2021-01-14 11:42:30 · 682 阅读 · 0 评论 -
numpy与torch相同功能命令
1.数据生成0矢量import torchimport numpy as npa1=torch.zeros(10,1)a2=np.zeros((10,1))2.求范数torch.norm(x,p,dim)np.linalg.norm(x,p) 默认2范数原创 2020-12-21 15:48:54 · 538 阅读 · 1 评论 -
用F.conv1d实现np.convolve tensor类型的卷积操作
就有几点要注意,输入的tensor要符合F.conv1d的三维要求,要加正确的padding位数才是对准的,神经网络里面的卷积实际上是相干,所以滤波器参数要翻转一下# -*- coding: utf-8 -*-"""Created on Mon Sep 28 11:12:40 2020np.convlve和F.conv1d对比@author: user"""import torchimport torch.nn.functional as Fimport numpy as npt原创 2020-09-28 13:32:51 · 2364 阅读 · 0 评论 -
解决问题:pytorch奇怪错误,网络完全不训练,参数不更新,没有梯度
遇到奇怪的问题的时候总是会特别绝望,比如,网络参数完全不更新不知道怎么解决,所以就查看了一下参数的梯度,结果发现完全没有梯度[x.grad for x in optimizer.param_groups[0]['params']]惊不惊喜,意不意外非常生气,我都是copy的以前的代码,结果,调了两天,就是自己的沙雕错误,我copy代码copy太多了,网络被写了两遍,删掉重复的就好了,不过不清楚为什么,反正网络调通了。。...原创 2020-08-07 17:10:28 · 8377 阅读 · 4 评论 -
解决问题,代码没对齐 unindent does not match any outer indentation level
遇到了unindent does not match any outer indentation level这个问题,搜索解决方案都是代码没对齐,我找了半天,发现是注释没对齐正确的应该是:原创 2020-07-14 11:41:16 · 382 阅读 · 0 评论 -
查看GPU状况 nvidia-smi 图解
https://blog.csdn.net/u013066730/article/details/84831552这篇说的很详细了,我摘出自己看得懂的东西第一栏的Fan:N/A是风扇转速,从0到100%之间变动,这个速度是计算机期望的风扇转速,实际情况下如果风扇堵转,可能打不到显示的转速。有的设备不会返回转速,因为它不依赖风扇冷却而是通过其他外设保持低温(比如我们实验室的服务器是常年放在空调房间里的)。第二栏的Temp:是温度,单位摄氏度。第三栏的Perf:是性能状态,从P0到P12,P0表..原创 2020-07-08 14:37:31 · 1269 阅读 · 0 评论 -
pytorch神经网络常用但因为语句太长而忘记的代码命令备忘录
1.查看gpu内存nvidia-smi2.有gpu用gpu跑,没有就用cpudevice=torch.device("cuda:0" if torch.cuda.is_available() else "cpu")3.神经网络中全部使用double类型的tensor,放在代码开头就行了~torch.set_default_tensor_type(torch.DoubleTensor)...原创 2020-07-08 10:16:49 · 225 阅读 · 0 评论 -
pytorch tensor常用运算(一)tensor翻转 判断数据类型 判断是不是torch
很多命令用的也不是很多,但是要用想不起来就很花时间,下面整理一些:实现的功能是,1tensor翻转1.tensor翻转x=torch.tensor([i for i in range(10)])#首先要把shape是(n,)的tensor换成(n,1)的y=x.reshape(x.shape[0],1)#然后使用torch.flip翻转z=torch.flip(y,[0,1])...原创 2020-06-28 16:14:26 · 4648 阅读 · 0 评论 -
有GPU装pytorch
1.查自己电脑的cuda版本win+R 打开运行,cmd 使用命令 nvcc --version2.在官网上找到合适的命令3.在prompt中安装可能我网好吧,一下子就装好了4.检查是否安装成功原创 2020-06-23 09:27:39 · 215 阅读 · 0 评论 -
torch tensor复数运算
torch tensor是不支持复数运算的,但有的时候场景中使用的是复数信号,复数计算就是把复数(n*1)的复数变成两列(n*2),下面是把numpy代码改写成torch tensor的示例:1.numpy与torch类型转换# numpy类型转torchnp_data=np.arange(6).reshape(2,3)#torch转回numpytorch_data=tr.from...原创 2020-05-07 23:19:07 · 9240 阅读 · 1 评论