Deep Learning 学习系列003 —— 隐藏单元

如何选择隐藏单元的类型？

隐藏单元接受一个输入$x$，先进行仿射变换$z=W^Tx+b$，然后对$z$的每个元素应用激活函数$g(z)$。大多数隐藏单元之间的不同主要在于激活函数的选择。

1. ReLU及其泛化

ReLU激活函数：

$g(z)=max\{0,z\}$

缺点：对于激活函数为0的样例不能通过基于梯度的方法学习。

所以对ReLU进行泛化：

$h_i=g(z,\alpha)_i=max\{0,z_i\}+\alpha_imin\{0,z_i\}$

1.1 绝对值修正

令$\alpha_i=-1$，则

$g(z)=|z|$

1.2 leaky ReLU

令$\alpha_i$为一个比较小的值，如0.1。

1.3 参数ReLU

将$\alpha_i$看做一个需要学习的参数。

maxout单元

将$z$划分成若干组，每组有$k$个值。
maxout输出单元输出每组中的最大值：

$g(z)_i=\displaystyle \max_{j\in G^{(i)}}z_j$

maxout函数可以学习激活函数本身，当k比较大时，可以以任意精度逼近任意凸函数。

2. logistic sigmoid

$g(z)=\frac{1}{1+\exp(-x)}$

3. 双曲正切

$g(z)=\tanh(z)=\frac{\exp(x)-\exp(-x)}{\exp(x)+\exp(-x)}$