深度学习之激活函数——Tanh

Tanh

双曲正切1函数(tanh)，其图像与sigmoid函数十分相近，相当于sigmoid函数的放大版。在实际的使用中，tanh函数要优先于sigmoid函数。

函数表达式

$$tanh=\frac{e^x-e^{-x}}{e^x+e^{-x}}$$

其定义域为$R$，值域为$(-1,1)$

函数图像

函数特性

由于tanh激活函数与sigmoid激活函数十分相似，所以两者在特性方面有很多共同点

实际上，tanh激活函数相当于sigmoid函数的平移：$tanh(x)=2sigmoid(2x)-2$

优点：

• 以0位对称中心，收敛速度快于sigmoid，提高了权重更新的效率

• 部分解决了梯度消失的问题，因为其导数值更大

  tanh导数值与sigmoid导数值对比：

  

  通过对比不难发现，tanh的导数值要远远大于sigmoid的导数值

缺点：

• 与sigmoid一样，tanh函数具有容易饱和的特点，没有根治梯度消失的问题
  igmoid一样，tanh函数具有容易饱和的特点，没有根治梯度消失的问题
• 计算复杂度较高，幂运算更加复杂