算法工程师面试之激活函数

0. 前言

• 文章来源：LawsonAbs（CSDN）
• 参考文章： 邱锡鹏《NNDL》

---

1. Sigmoid 函数

1.1 定义

sigmoid 函数也叫作logistic函数，这个函数是一名生物学家在研究种群数量的增长时提出的模型，最初作为一种生态学模型。

1.2 函数表达式：

$$f(z)=\frac{1}{1+e^{-z}}$$

1.3 图形

1.4 常用情景

sigmoid函数常用于如下两种情况：

• 作为激活函数用在神经网络层中
• 作为分类函数

1.5 导数

$$\begin{array}{rl}f(x)& =\frac{1}{1+e^{-x}}\\ & =\frac{e^x}{(1+e^{-x}{)}^2}\\ & =f(x)\ast [1-f(x)]\end{array}$$

2. tanh函数

• 函数名：双曲正切函数
• 函数表达式：
  $$f(z)=\frac{e^z-e^{-z}}{e^z+e^{-z}}$$
• 函数图像如下所示：
  
  根据函数图像，可以知道，这个双曲正切函数的导数在区间[-2,2]上是有变化的，但是在其他的区间内变化值就很小了。

3. Relu函数

$$f(z)=max(0,z)$$