【深度学习】之 激励函数

写在前面：

       最近才开始学习Deep Learning，希望用写博客的方式记录下整个学习过程。菜鸟的进阶之路，开启~~~（基于pytorch）

----------------------手动分割------------------

激励函数（Activation Function AF）

深度学习中的激励函数简而言之就是：一个非线性函数。它可以将线性方程转化为非线性的，以便深度学习适应非线性任务。

Torch中的AF非常多，但是常用的也就是四种：relu 、sigmoid 、tanh、softplus。

下面用代码来详细说明：

最后，得到四种激励函数：