深度学习
文章平均质量分 60
Genius Soul
我是小学生。。。
展开
-
self-host wandb搭建时无root权限的处理方法
无root权限如何搭建wandb,解答:进docker修改目录权限为777原创 2023-01-13 12:05:09 · 395 阅读 · 0 评论 -
nn.Linear与nn.Embedding的区别?
先上结论:nn.Linear就是nn.Embedding验证过程如下:Note: fc和embed的权重略有差别, fc.weight = embed.weight.T ,是个转置的区别,pytorch给的公式就是这样。原创 2022-05-19 18:39:06 · 1020 阅读 · 0 评论 -
pytorch 中遇到的若干bug记录
在使用了AMP (自动混合精度)之后,模型的训练进程偶尔会出现很奇怪的现象。 在训练到某个epoch之后,验证集的acc变为0%, 经过调试之后发现是AMP的scaler的导致的。一般来说,scale在遇到loss为nan后,会停止本次更新,降低对loss的scale,但是我的代码在运行过程中出现-inf,而在最后经过sigmoid,结果变为0 ,从而导致loss变为常数,而非NaN,所以这当然是有问题的… (补充一下为什么要用scale,当某些计算经过amp变成版精度计算的以后,有一些少于16bit的.原创 2021-10-17 21:22:47 · 208 阅读 · 0 评论 -
详细解读Batch Normalization中的关键点
介绍Batch Normalization 是在论文Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift中提出来的。作者在摘要中指出:训练神经网络是复杂的,因为在训练过程中,每一层输入的分布都会受前一层输出的影响。而且随着网络的加深,网络参数的微小变化都有可能被放大, 所以就需要更低的学习率和更加careful的参数初始化。并且由于这种原因,会使训练结果比理论值低(训练原创 2021-07-02 17:51:30 · 392 阅读 · 0 评论 -
ImportError: libSM.so.6: cannot open shared object file: No such file or directory
在安装好opencv,import cv2时,提示:ImportError: libSM.so.6: cannot open shared object file: No such file or directory输入以下命令即可解决apt-get install -y libsm6 libxext6 libxrender-dev原创 2020-11-13 10:46:01 · 173 阅读 · 0 评论 -
ImportError: libcudart.so.8.0: cannot open shared object file: No such file or directory
在安装tensorflow时提示ImportError: libcudart.so.8.0: cannot open shared object file: No such file or directory,我看了/usr/local/cuda/这个目录,确实不存在这个文件,再装一次cuda???,系统是redhat8.0,官方cuda8.0只支持redhat7.0conda真是一个神奇的东西,万事万物都可以装哈哈哈conda install cudatoolkit=8.0 -c https://mi原创 2020-11-13 10:37:18 · 370 阅读 · 0 评论