神经网络
马浚华
这个作者很懒,什么都没留下…
展开
-
在transformers使用from_pretrain方法下载的预训练模型在哪儿
一般在~/.cache/torch里见transformers源码:原创 2020-07-22 16:08:01 · 4858 阅读 · 4 评论 -
RuntimeError: transform: failed to synchronize: cudaErrorIllegalAddress: an illegal memory access
@[TOC]#Pytorch: RuntimeError: transform: failed to synchronize: cudaErrorIllegalAddress解决pytorch出现 RuntimeError: transform: failed to synchronize: cudaErrorIllegalAddress: an illegal memory access was encountered导致原因可能有两种:忘记了model.to(device)pytorch版本不原创 2020-06-07 09:18:46 · 11008 阅读 · 3 评论 -
dead ReLU的发生原因和复活问题
dead ReLU的发生原因和复活问题先做一个假设:假设有一个神经网络,其输入X服从某一个分布。我们看看某一个特定的ReLU激活单元R。这个单元有一个已经固定的参数集,X的分布就关联着R的输入的分布。为了方便观察,我们假 R的输入服从一个低方差均值为+1的高斯分布。在这个假设下:1.大部分R的输入为正的。2.大多数输入会导致ReLU函数激活。3.大多数输入会使反向传播回来的梯度通...翻译 2019-09-12 10:11:06 · 3361 阅读 · 2 评论