一种改进ReLU激活函数的文章,来自ICML2016.
文章链接: 《Understanding and Improving Convolutional Neural Networks via Concatenated Rectified Linear Units》
1. 背景介绍
整个文章的出发点来自于下图的统计现象:
为了看懂上图。
(1)首先介绍一下余弦相似度(cos距离)的概念
cos距离的取值范围是 [-1,+1],距离越接近-1,表示两个向量的方向 越相反
一种改进ReLU激活函数的文章,来自ICML2016.
文章链接: 《Understanding and Improving Convolutional Neural Networks via Concatenated Rectified Linear Units》
整个文章的出发点来自于下图的统计现象:
为了看懂上图。
(1)首先介绍一下余弦相似度(cos距离)的概念
cos距离的取值范围是 [-1,+1],距离越接近-1,表示两个向量的方向 越相反