- 博客(3)
- 收藏
- 关注
RSS订阅原创 在transformers使用from_pretrain方法下载的预训练模型在哪儿
一般在~/.cache/torch里见transformers源码:
2020-07-22 16:08:01
4970
4
原创 RuntimeError: transform: failed to synchronize: cudaErrorIllegalAddress: an illegal memory access
@[TOC]#Pytorch: RuntimeError: transform: failed to synchronize: cudaErrorIllegalAddress解决pytorch出现 RuntimeError: transform: failed to synchronize: cudaErrorIllegalAddress: an illegal memory access was encountered导致原因可能有两种：忘记了model.to(device)pytorch版本不
2020-06-07 09:18:46
11087
3
翻译 dead ReLU的发生原因和复活问题
dead ReLU的发生原因和复活问题先做一个假设：假设有一个神经网络，其输入X服从某一个分布。我们看看某一个特定的ReLU激活单元R。这个单元有一个已经固定的参数集，X的分布就关联着R的输入的分布。为了方便观察，我们假 R的输入服从一个低方差均值为+1的高斯分布。在这个假设下：1.大部分R的输入为正的。2.大多数输入会导致ReLU函数激活。3.大多数输入会使反向传播回来的梯度通...
2019-09-12 10:11:06
3431
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人