机器学习中的数学——激活函数（二）：双曲正切函数（Tanh函数）

分类目录：《机器学习中的数学》总目录
相关文章：
· 激活函数：基础知识
· 激活函数（一）：Sigmoid函数
· 激活函数（二）：双曲正切函数（Tanh函数）
· 激活函数（三）： 线性整流函数（ReLU函数）
· 激活函数（四）：Leaky ReLU函数
· 激活函数（五）：ELU函数
· 激活函数（六）：Parametric ReLU（PReLU）函数
· 激活函数（七）：Softmax函数
· 激活函数（八）：Swish函数
· 激活函数（九）：Maxout函数
· 激活函数（十）：Softplus函数
· 激活函数（十一）：Softsign函数
· 激活函数（十二）：高斯误差线性单元(GELUs)

---

双曲正切函数是双曲函数的一种。双曲正切函数在数学语言上一般写作$\tanh$。它解决了Sigmoid函数的不以0为中心输出问题，然而，梯度消失的问题和幂运算的问题仍然存在。
$$\tanh (x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}$$

$\tanh$函数的图像：