- 博客(2)
- 收藏
- 关注
RSS订阅转载 从Sigmoid到自适应参数化ReLU激活函数
本文在综述一些经典激活函数和注意力机制理论的基础上，解读了一种“注意力机制下的新型激活函数”，即“自适应参数化修正线性单元”（Adaptively Parametric Rectifier Linear Unit，APReLU）。1.经典激活函数激活函数是目前人工神经网络的核心组成部分之一，其作用是进行人工神经网络的非线性化。我们首先回顾一些最为常见的激活函数，包括Sigmoid激活函数、Ta...
2020-03-22 08:51:12
821
转载 深度残差收缩网络：一种面向强噪声数据的深度学习方法
本文解读了一种新型的深度注意力机制算法，即深度残差收缩网络（Deep Residual Shrinkage Network）。从功能上讲，深度残差收缩网络是一种面向强噪声或者高度冗余数据的特征学习方法。本文首先回顾了相关基础知识，然后解释了深度残差收缩网络的动机和具体实现。1.相关基础深度残差收缩网络主要建立在三个部分的基础之上：深度残差网络、软阈值函数和注意力机制。1.1 深度残差网络深...
2020-03-21 22:47:32
1375
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人