深度学习
Jacob_Y7
PhD candidate from ZJU
展开
-
训练过程中Loss函数出现Nan的可能原因
综合我做过的一些实验,记录一下实验过程中Loss出现Nan的一些可能原因:最简单的,学习率过大。BTW, 学习率过大还可能导致收敛到一个定值之前实验室的师姐拿云图做DNI分类的结果最后都收敛到同一个数值,结果我后来一看也是学习率过大导致的。其中的原因我猜测是使用了ReLU激活函数以后,某一步跨入了一个点,使得出现了dead neuron的现象,然后前面的参数全部不更新,导致最后的结果变成了定值。坏样本的加入比如一个样本的全是0,你减去均值除以方差以后就变成了nan,你自己不会发现,进入神经原创 2020-07-03 22:52:16 · 4367 阅读 · 0 评论 -
Centos7利用yum升级GCC版本,一直启用,并解决/lib64/libstdc++.so.6: version `GLIBCXX_3.4.20' not found
在深度学习的使用过程中经常会碰到编译这个问题,对于c语言编译来说GCC的版本是比较重要的,如果你发现你的linux计算机的gcc版本比较低:首先挑选一个合适的版本进行安装,进行这一步操作。链接1、链接22020.4.27更新 需要提到的是:一般如果需要升级gcc至4.8或更高版本,建议直接采用安装SCL源之后安装devtoolset-7(devtoolset-7目前gcc版本为7...原创 2020-04-29 15:32:27 · 5516 阅读 · 0 评论 -
学习LSTM、RNN中产生的几个概念性疑问和解答
通常使用的损失函数原创 2020-02-29 14:44:00 · 319 阅读 · 0 评论 -
Pytorch中我容易遗忘的概念
torch.util.data.Dataloader是什么?(dataloader)原创 2020-02-20 23:18:26 · 149 阅读 · 0 评论 -
ERROR: Command errored out with exit status 1: python setup.py egg_info Check the logs for full
我发现自己的Debug能力还是不行,特别是环境上的一些问题,以后一定要把错误的内容通读!!!!!通读!!!!!我现在是在安装mmcv,像这里的错误,核心内容是一个WARNING和两个ERROR,WARNING的内容一般是不重要的,然后看看ERROR,大概就是pytest-runner的版本找不到,尝试安装一波:pip install --user pytest-runner就好了,这错误我找...原创 2019-11-29 22:50:46 · 83127 阅读 · 26 评论 -
pip安装出现错误: No such file or directory: '/envs/python3.6/site-packages/pip-19.0.1.dist-info/METADATA'
解决方案链接转载 2019-11-29 18:46:21 · 4841 阅读 · 0 评论 -
如何找到使用官方的预训练模型(针对Pytorch)
我们知道我们在训练深度学习模型的时候,一个好的与训练模型可以让模型收敛的速度更快而且可能会小幅度提升效果,那Pytorch官方的与训练模型的下载地址如何找呢?找到Pytorch官网点击官网上的Ecosystem下的Models(Beta),这里都是Pytorch放出的官方与训练模型。如果你需要加载这个模型的话,一般Pytorch模型的保存和读取方法:链接...原创 2019-11-23 09:44:57 · 3097 阅读 · 1 评论