- 博客(2)
- 收藏
- 关注
转载 残差网络的新改进:深度残差收缩网络
残差网络ResNet获得了2016年IEEE Conference on CVPR的最佳论文奖,现在在谷歌学术的引用次数已高达38295次。深度残差收缩网络是深度残差网络的一种新的改进版本,其实是深度残差网络、注意力机制和软阈值函数的集成。在一定程度上,深度残差收缩网络的工作原理,可以理解为:通过注意力机制注意到不重要的特征,通过软阈值函数将它们置为零;或者说,通过注意力机制注意到重要的特征,...
2020-03-14 21:41:28 5172 3
转载 ReLU激活函数+注意力机制:自适应参数化ReLU激活函数
本文解读了一种“注意力机制下的激活函数”,也就是自适应参数化修正线性单元(Adaptively Parametric Rectifier Linear Unit,APReLU)。1.激活函数激活函数是目前人工神经网络的核心组成部分之一,其作用是进行人工神经网络的非线性化。我们首先回顾一些最为常见的激活函数,包括Sigmoid激活函数、Tanh激活函数和ReLU激活函数,分别如图所示。Sig...
2020-03-15 11:28:51 1447
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人