- 博客(66)
- 收藏
- 关注
RSS订阅原创 RuntimeError:Trying to backward throughthe graph a second time
虽然提示的解决办法是loss.backward(retain_graph=True)。实际上，大部分的代码问题不出在这里，而且保留计算图可能会使缓存快速积累，导致显存爆了。如果明明每次迭代的loss都不一样，grad_fn也不是None，为什么还会报这个错呢？
2025-03-07 11:01:39
1098
原创 Multi-GPU和MPI-GPU的区别
多GPU: 最适合单节点内的高性能任务，设置简单，利用共享内存。MPI-GPU: 适用于大规模分布式计算，设置复杂，但具有显著的可扩展性。
2025-01-18 15:33:24
466
原创 Adam优化器
Adam（Adaptive Moment Estimation）优化器作为一种广泛应用的算法，结合了Adagrad和RMSProp的优点，能够自适应地调整每个参数的学习率，在处理复杂的神经网络训练任务时表现出色。然而，在实际使用过程中，如我们在例子中所展示的，可能会出现参数更新异常导致远离最优解的情况。），用于防止分母为零的情况。这个公式根据一阶矩和二阶矩估计来调整参数的更新步长，使得在梯度变化较大的方向上更新步长相对较小，而在梯度较为稳定的方向上更新步长相对较大，从而实现自适应学习率的效果。
2024-12-19 12:04:59
1188
原创 LBFGS跑了一些epoch后loss变nan
line_search_fn="strong_wolfe" 有很大概率让loss不再是nan。可以使用linesearch改善。
2024-11-28 16:01:22
189
原创 python画图plt.close()一直闪烁
在Matplotlib中，’后端’（backend）指的是用于实际绘制图形的底层图形库。Matplotlib支持多种后端，如’TkAgg’、’Qt5Agg’、’WXAgg’等，它们分别对应不同的图形用户界面库。而’agg’（Anti-Grain Geometry）后端则是一个不依赖于任何特定GUI库的后端，它使用Anti-Grain Geometry库进行高质量的图形渲染。
2024-11-28 15:58:43
559
原创 个人笔记--python代码--储存数据
这里的with open(‘errors.txt’, ‘a’) as file:的’a’指的是追加模式 (append mode)。如果文件不存在，会创建一个新文件。如果文件存在，新的内容会被追加到文件的末尾，而不会覆盖原有内容。而with open(‘errors.txt’, ‘w’) as file:的’w’表示写入模式 (write mode)。如果文件不存在，会创建一个新文件。如果文件存在，原有内容会被清空，新的内容会覆盖原有内容。
2024-08-22 18:40:53
254
原创 在终端上通过SSH登录到指定IP地址的服务器
进入后输入密码（密码在输入的时候是不显示的，注意大小写），这样就可以登入服务器。比如如果需要登入学校的服务器，一般需要连接学校的内网VPN才能登入。ip地址:12.345.67.890。假如失败了，有可能是网络问题。
2024-08-08 20:40:47
704
原创 Ubuntu设置打不开（Gnome Control Center doesn’t open）
为了解决这个问题，可以尝试重新安装 `pipewire` 软件包，它可能包含了缺失的库文件。Remarks：（不用理会，只是我的个人备注）由于缺少这个文件，可能会导致。出现加载错误和段错误。最后设置就会弹出来。
2024-03-06 11:50:33
1733
1
原创 LINUX Drive CUDA cuDNN Anaconda TensorFlow2
由于TF2GPU最新仅更新到CUDA11.2版本，于是为了所有都兼容，操作系统选择了。如果没有显示，可以在设置-关于获取。进入网站选择自己的显卡型号。选择想要下载的驱动版本，并点击 “获取下载” 进行下载。这些版本都可以使用，只不过不同版本对应的cuda版本不一样，对应的cudnn版本也就不一样，最后支持的pytorch版本也就不一样，所以，选择哪个版本都行，只不过后续安装cuda、cudnn、pytorch的时候需要进行版本对应。通过上面链接已知Nvidia的驱动只需要安装最新发布的即可。
2024-02-08 13:01:44
1063
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人