- 博客(12)
- 收藏
- 关注
RSS订阅原创 Expected tensor for argument #1 'input' to have the same device as tensor for argument #2 'weight';
解决了题目所述问题。报错完整信息为：RuntimeError: Expected tensor for argument #1 ‘input’ to have the same device as tensor for argument #2 ‘weight’; but device 1 does not equal 0 (while checking arguments for cudnn_...
2020-04-23 11:41:06
5465
原创 nn.conv2d（）
在用conv2d函数计算网络中间feature的大小时，发现不同博客提供的公式还不一样，后来发现是不同框架的区别。tensorflow中，padding填充有same、valid两种模式，分别对应两种计算公式。但是在pytorch中尺寸的计算是统一的：...
2020-04-21 17:16:48
399
转载 L2loss会使生成的图像更模糊
来自知乎-陈耕：在GAN或VAE的image2image中，为什么加上L2或L1损失函数，会导致生成的图像模糊？实际上L2 loss会产生更平滑的图像。因为最小化L2 loss相当于最大化一个高斯分布的log-likelihood。也就是说，我们假定我们的数据是符合了一个高斯分布的。但是实际中，我们的数据可能是多峰的。比如说对于猫而言，有很多种不同种类长得不一样的猫，每个种类的猫可能都会带来一...
2020-04-20 17:03:18
2942
原创 网络训练中的图片尺寸问题_比例抽取图片代码
在用10张左右的样本图片测试网络成功后，开始考虑用这个测试集来评价网络。但出现了问题。在加载图像的过程中，频繁提示如下错误：RuntimeError: invalid argument 0: Sizes of tensors must match except in dimension 0. Got 256 and 210 in dimension 2 at …我意识到是数据集出问题了。整个...
2020-04-16 17:50:06
1997
原创 ATTENTION TRANSFER and CBAM
因为某些原因读了关于attention的两篇文章，简单总结下。论文地址：1、PAYING MORE ATTENTION TO ATTENTION: IMPROVING THE PERFORMANCE OF CONVOLUTIONAL NEURAL NETWORKS VIA ATTENTION TRANSFER2、CBAM: Convolutional Block Attention Modu...
2020-04-14 10:28:48
293
原创 关于几个normalization个人理解
比较经典的几个normalization：盗图：1、BN 对 （H×W×N） 进行归一化实现原理很简单，就是对一个minibatch 计算一下均值和标准差，然后进行一个标准化操作，最后通过添加两个（可学习）scale和shift参数来防止其太过于线性而降低网络的表达能力。网上都在说BN将输入强行拉回到正态分布看得我一脸懵，我觉得应该强调的是这个normalize使整个mi...
2020-04-09 18:07:40
445
原创 Region Normalization 总结
年前读了 Region Normalization for Image Inpainting 这篇文章，当时作者还未上传代码，文章内容也读的云里雾里。现在再深入理解一下文章。1、文章的重点在 normalization 上面。以前读文章也遇到过各种normalization，但没有系统比较过他们的具体机制，正好作者在Related Work部分专门列出了不同的normalization出处，码...
2020-04-09 13:47:08
1391
4
原创 神经网络弱智笔记
今天偶然间明白了两个神经网络基础概念。1、affine parameters直译为仿射参数。affine实际上就是正向传播中矩阵的乘积运算，也就是权重和输入特征的乘积。仿射参数自然就是权重和偏差。2、inference翻译为推断，之前一直云里雾里，其实就是给定输入，网络根据已有参数进行正向运算后得到输出结果的过程。...
2020-04-09 11:12:39
327
转载 pytorch 保存和加载模型两种方法学习
一、保存整个神经网络的的结构信息和模型参数信息，save的对象是网络net# 保存和加载整个模型torch.save(model_object, 'resnet.pth')model = torch.load('resnet.pth')二、只保存神经网络的训练模型参数，save的对象是net.state_dict()# 将my_resnet模型储存为my_resnet.pthtorc...
2020-04-07 16:21:57
379
原创 加载数据集出现的问题解决方法_移动文件代码
在复现GitHub项目时出现了一些问题，很奇怪每个项目都会遇到以前没见过的问题。在作者帮助下成功开始训练此项目-Region Normalization for Image Inpainting昨天仔细看了下代码，虽然不尽懂，但这个项目其实代码量不大，大部分地方的逻辑关系也比较清晰，也就有利于调试。问题：1、首先出现这个问题，网上查到的基本都是说程序没有权限访问到这个路径’/data’。仔...
2020-04-03 10:16:00
1254
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人