BP反向传播算法之激活函数

神经元模型：用数学公式表示为：，f 为激活函数。神经网络是以神经元为基本单元构成的。 

 

激活函数：引入非线性激活因素，提高模型的表达力。

常用的激活函数有 relu、sigmoid、tanh 等。

 

① 激活函数 relu: 在 Tensorflow 中，用 tf.nn.relu()表示

                           

② 激活函数 sigmoid：在 Tensorflow 中，用 tf.nn.sigmoid()表示 

                                

③ 激活函数 tanh：在 Tensorflow 中，用 tf.nn.tanh()表示