TensorFlow常用激活函数及其特点用法（6种）详解

      每个神经元都必须有激活函数。它们为神经元提供了模拟复杂非线性数据集所必需的非线性特性。该函数取所有输入的加权和，进而生成一个输出信号。你可以把它看作输入和输出之间的转换。使用适当的激活函数，可以将输出值限定在一个定义的范围内。如果 xi 是第 j 个输入，Wj 是连接第 j 个输入到神经元的权重，b 是神经元的偏置，神经元的输出（在生物学术语中，神经元的激活）由激活函数决定，并且在数学上表示如下：

 这里，g 表示激活函数。激活函数的参数 ΣWjxj​+b 被称为神经元的活动。

       这里对给定输入刺激的反应是由神经元的激活函数决定的。有时回答是二元的（是或不是）。例如，当有人开玩笑的时候...要么不笑。在其他时候，反应似乎是线性的，例如，由于疼痛而哭泣。有时，答复似乎是在一个范围内。模仿类似的行为，人造神经元使用许多不同的激活函数。在这里，将展示如何定义和使用 TensorFlow 中的一些常用激活函数。

下面认识几种常见的激活函数：

1、阈值激活函数： 这是最简单的激活函数。在这里，如果神经元的激活值大于零，那么神经元就会被激活；否则，它还是处于抑制状态。下面绘制阈值激活函数的图，随着神经元的激活值的改变在TensorFlow中实现阈值激活函数：

import tensorflow as tf
import