机器学习/深度学习测试题（一） —— 单层感知器的激活函数

问，更换单层感知器的激活函数（比如改为 $\tanh$ 函数），能否使模型具有解决非线性分类问题的能力。

$$\tanh(s)=\frac{\exp(s)-\exp(-s)}{\exp(s)+\exp(-s)}$$

可知，$\tanh$ 过原点，在 $s > 0$ 时，$\tanh > 0$，$s < 0$ 时，$\tanh < 0$。

单层感知器是否具有解决非线性问题的能力，在于判断：

$$\text{sgn}(\tanh(w\cdot x)) > 0 ⇒ \tanh(w\cdot x) > 0 ⇒ w\cdot x > 0\\ \text{sgn}(\tanh(w\cdot x)) > 0 \Leftarrow \tanh(w\cdot x) > 0 \Leftarrow w\cdot x > 0$$

也即 $\tanh$ （非线性函数）激励函数的引入并未在解决非线性问题上带来新的更强的能力。