PyTorch踩坑记录1

于 2024-08-22 21:48:41 发布
阅读量297 收藏
点赞数 3
分类专栏： troch陶器 神经网络基础模型关键点 文章标签： pytorch 人工智能 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43483381/article/details/141438735
版权

1 model.eval()无法关闭dropout

因为model.eval()控制self.training参数，只有用nn.Dropout(0.5)声明才能在调用model.eval()后关闭，用F.dropout(x, p=0.5)是没办法自动关闭的，需要手动把self.training的参数传入到F.dropout()里才行。

网上查到是因为model.eval()会影响继承nn.module类的self.方法的训练和测试，但是F.dropout更像是一个函数没继承nn,module。

另外，回归模型在后面几层应该避免使用dropout，最多在浅层使用。

2 BCEloss归一化

在tf2中BCEloss没有归一化，但是在torch中的损失函数是归一化了的。

普通攻击往后拉
关注
专栏目录
PyTorch踩坑记录
nan1104的博客
10-04 1299
使用Pytorch也一年多了，记录一下自己遇到的各种问题。 各种踩坑记录 loss.backward()报错 一种非常常见的错误，在网络前向传播时没问题，但是当loss.backward()时会报错 导致这个错误的原因非常多样 in-place操作导致，具体的in-place操作有很多，例如squeeze_(), x[:]=y, 等等，网上相关资料很多，不细写 loss需要是一个标量，如果是向量的话，需要x.sum(); 有些向量不需要传递梯度时，使用x.detach()截断梯度传递； 一个非常有用的命令
安装pytorch踩坑记录
m0_54902601的博客
01-14 237
当时pip install vit_pytorch提示我了，得是torch1.10才能兼容。结果发现cuda不能用了，一看torch版本才发现变成最新的了，估计被自动升级了。还有就是，本来都安装好了，结果跑vit的时候安包。要根据cuda版本选择torch版本。然后我试了试作者给的代码，没报错。要重装torch，不过挺快的。
Pytorch踩坑记录（1）
qq_51889454的博客
06-30 52
定义的多个函数不能写成列表的形式，否则参数不能保存？
pytorch踩坑记录
weixin_43991828的博客
01-10 553
在看了skip-gram乞丐版实战后按照自己的理解希望复现这个乞丐版，其中遇到了一些细节问题，记录下来避免以后再次踩坑 1.关于数据类型不正确 Runtime error: expected scalar type Double but found Float 出现这个报错的代码是： pred = model(batch_x.to(device)) 解决方法参考该博客，将代码改为 pred = model(batch_x.to(device).to(torch.float32)) 成功 2.关于网络结构
Pytorch踩坑记录-Categorical
Wsfddy1993的博客
07-12 2002
Pytorch Categorical 使用/介绍/踩坑记录
pytorch踩坑记录：
u011489220的博客
03-06 2619
1.出现不能分配内存错误： fork OSError: [Errno 12] Cannot allocate memory 解决办法： 重启电脑； 或者换用spaw启动方式 添加代码： mp.set_start_method('spawn')
windows 安装pytorch 踩坑记录以及解决方法
qq_44318809的博客
09-10 174
pytorch安装调用不了gpu踩坑及解决办法
ssd.pytorch 踩坑记录
weixin_45881512的博客
05-11 334
ssd.pytorch 踩坑记录 由于实验室需求，从github上下载了一个基于pytorch的ssd代码，调试过程中出现了蛮多bug，记录一下，方便以后调试的时候继续参考。数据集为实验室制作的遥感图像数据集。 参考代码：https://github.com/amdegroot/ssd.pytorch 1. 训练时出现loss: nan 问题 检查发现，loss_l为nan，寻找错误半天，找到原来是数据集ground truth中，标签格式并非是「xmin,ymin,xmax,ymax]而是，「x1,y1,
pytorch 踩坑记录
kdh的专栏
06-16 1万+
其他坑一些别人踩过的坑，知乎上的回答 1.Broadcast function not implemented for CPU tensors 这是因为model不在gpu上所致。model.to(device)。DataParallel会对模型参数所在的gpu位置进行检查，见源码 DataParallel是每次forward时对模型进行broadcast，当模型不在第一个G...
Pytorch踩坑记录
mystyle_的博客
04-13 639
1、 使用现有模型时，如resnet、vgg16时，进行改进后，如果只想训练自己改进后的参数，可以先将原来网络参数的requires_grad = False net = resnet50(pretrained = True) for param in net.parameters(): param.requires_grad = False #添加自己定义的层 net.fc = n...
Anaconda安装pytorch踩坑记录
watermelon_learn的博客
03-14 1391
创建新环境 首先是在Anaconda上构建了一个新的环境，我这个是专门为了深度学习创建的环境，所以叫DeepLearning，创建方式是点击下面的create，之后取名就好了。这里也能看到python版本，记住了后面安装pytorch要用，我这里是python3.9.7。点击DeepLearning后面那个播放键，能打开这个环境的Terminal终端。后续的代码也都是在终端中输入的 安装Pytorch 如何查看CUDA版本 查看Anaconda Tensorflow CUDA 版本 学习笔记_R
树莓派4B安装系统、opencv4.1、pytorch踩坑记录
weixin_44713763的博客
05-05 3259
以下为cmake用到的命令 cmake -D CMAKE_BUILD_TYPE=RELEASE \ -D CMAKE_INSTALL_PREFIX=/usr/local \ -D INSTALL_C_EXAMPLES=ON \ -D INSTALL_PYTHON_EXAMPLES=ON \ -D OPENCV_EXTRA_MODULES_PATH=/root/Downloads/opencv_co...
pytorch踩坑记
m0_46545833的博客
03-21 1845
pytorch神经网络
softmax与sigmoid的区别
热门推荐
普通攻击往后拉的博客
04-02 1万+
111
代码+通俗理解图神经网络GNN
普通攻击往后拉的博客
08-14 1万+
1 类比CNN 图神经网络GNN用于解决非欧几里得空间结构的数据结构的表征问题，其本质是依赖图形中边的连接关系表征节点或者图的信息。在说图神经网路是如何实现这一点时，可以先对比卷积神经网络对一般图像的处理过程： CNN对于图像的处理就是按照从上到下的顺序依次对图像进行卷积，从而提取整个图像的特征；而GNN对于图结构的处理，类似于按照节点为单位，用一个虚拟的卷积核按照节点的连接顺序对图中的节点依次进行处理。因此GNN与CNN的处理过程本质上是一样的。 2 代码理解GNN的训练过程 GNN的“模拟卷积核”在每
[经典论文分享]QMIX: 基于值学习的多智能体强化学习协作算法
普通攻击往后拉的博客
02-14 5306
1 背景 在多智能体强化学习中有两个重要的问题，一是如何学习联合动作值函数，因为该函数的参数会随着智能体数量的增多而成指数增长；二就是学习到了联合动作值函数后，如何提取出一个合适的分布式的策略。这两个问题导致单智能体强化学习算法，如Q-learning，难以直接应用到多智能体系统中。Rashid提出了QMIX多智能体算法，基于Q-learning和VDN的启发，从上述两个问题角度提升marl算法的准确度。 论文原文：QMIX: Monotonic Value Function Factorisation f
[经典论文分享] Decision Transformer: Reinforcement Learning via Sequence Modeling
普通攻击往后拉的博客
01-21 4943
1 背景 无聊时看群聊发现在半年前2021年7月左右新出了一个方法，叫做decision transformer。一直以来都是对attention机制大家族保持着崇高的敬意，于是找到了这篇文章看了一下。看完之后感觉并不是很惊喜，也可能是期待太高。文章核心做的工作是给出了一种新的深度强化学习训练模式，使得能够更加‘端对端’地去用transformer大家族去拟合和训练。截止2022年1月22日，这篇文章在谷歌学术上有了50次引用（半年多）。 论文原文：Decision Transformer: Reinfor
线性回归与对数几率(Logistic)回归的区别与联系
普通攻击往后拉的博客
03-31 4892
1 线性回归 线性回归其实就是高中讲过的那种回归，但是不同的是线性回归在神经网络这个学科里大多使用梯度下降来计算参数w,bw,bw,b，而高中讲的是使用最小二乘法。 线性回归想解决的问题也是回归问题，公式： y=wx+b y=wx+by=wx+b 也可以写成： hθ(x)=θx h_\theta(x) =\theta x hθ​(x)=θx 用图形表示的话： 如果更新方式使用梯度下降，其中损...
pytorch m1
最新发布
09-14
对于使用M1芯片的Mac电脑来说，有几种安装PyTorch的方法。一种是通过pip安装，另一种是通过conda安装。 使用pip安装PyTorch的命令如下： ``` pip install torch>=1.12 -i https://pypi.tuna.tsinghua.edu.cn/simple ``` 另一种安装方式是通过conda，使用以下命令安装PyTorch和Torchvision： ``` conda install -c pytorch pytorch torchvision ``` 安装完PyTorch后，你可以使用M1芯片的GPU加速的MPS后端来加速PyTorch。例如，你可以按照下面的步骤使用M1芯片的GPU加速进行mnist手写数字识别： 1. 导入所需库和模块。 2. 加载mnist数据集。 3. 定义模型结构。 4. 在MPS后端上设置PyTorch。 5. 将模型和数据移至M1芯片的GPU上。 6. 定义损失函数和优化器。 7. 进行训练和测试。 以上是使用Mac M1芯片GPU加速的MPS后端来加速PyTorch的基本流程。你可以根据具体需求进行相应的调整和扩展。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值