激活函数
tomeasure
一个立志于用编程满足自己吃货欲望的吃货
展开
-
SWISH论文翻译
SWISH论文翻译 基本是机器翻译,也进行了基本的人工矫正,凑活看吧 原论文:SEARCHING FOR ACTIVATION FUNCTIONS 链接:https://arxiv.org/pdf/1710.05941.pdf 摘要 深度网络中激活函数的选择对训练动态和任务性能有显着影响。目前,最成功和广泛使用的激活函数是整流线性单元(ReLU)。尽管已经提出了各种手工设计的ReLU替代品,但...翻译 2019-03-20 11:48:51 · 2398 阅读 · 0 评论 -
GELU论文翻译
GELU论文翻译 基本是机器翻译,也进行了基本的人工矫正,凑活看吧 原论文:Bridging Nonlinearities and Stochastic Regularizers with Gaussian Error Linear Units 摘要 本文中我们提出了一种具有高性能的神经网络激活函数 Gaussian Error Linear Units(GELU)。GELU非线性是随机过程的...翻译 2019-03-17 18:40:04 · 3909 阅读 · 0 评论