Tensorflow--激活函数

各类函数汇总：

• tf.nn.relu()
• tf.nn.sigmoid()
• tf.nn.tanh()
• tf.nn.elu()
• tf.nn.bias_add()
• tf.nn.crelu()
• tf.nn.relu6()
• tf.nn.softplus()
• tf.nn.softsign()
• tf.nn.dropout()

画函数图代码：

import numpy as np
import matplotlib.pyplot as plt

x = np.arange(-10, 10, 0.01)
xt = tf.convert_to_tensor(x)
sess = tf.Session()
y = sess.run(tf.sigmoid(xt))

ax = plt.gca()
ax.spines['top'].set_color('none')
ax.spines['right'].set_color('none')
ax.xaxis.set_ticks_position('bottom')
ax.spines['bottom'].set_position(('data',0))
ax.yaxis.set_ticks_position('left')
ax.spines['left'].set_position(('data',0))

plt.plot(x,y)
plt.show()

sigmoid

函数式：$S(x)=\frac{1}{1+e^{-x}}$

函数图像：

代码：

a = tf.constant([[1.0,2.0], [1.0,2.0], [1.0,2.0]])
sess = tf.Session()
print(sess.run(tf.sigmoid(a)))

优缺点：

优点：输出在（0，1）之间，单调连续，求导容易
缺点：软饱和性，当S(x)趋向于无穷大时，一阶导数趋向于0，容易造成梯度消失

tanh

函数式：$tanh(x)=\frac{1-e^{-2x}}{1+e^{-2x}}$

函数图像：

优缺点：

优点：由于以0为中点，收敛速度比sigmoid快。
缺点：依然存在梯度消失问题

relu

函数式：$f(x)=max(x,0)$

函数图像：

优缺点：

优点：能解决梯度消失的问题，在x>0时，导数为1，保持梯度不衰减，而且能更快的收敛。
缺点：x<0时硬饱和区，梯度为0。随着训练的进行，部分输入会落入硬饱和区权重无法更新，称为神经元死亡。

relu变体

softplus：$f(x)=log(1+e^x)$

可以看作是平滑版本的relu

函数图像：

relu6：$f(x)=min(max(x,0),6)$

函数图像：

crelu：$CReLU(x)=[ReLU(x),ReLU(−x)]$

输出层翻倍

dropout

以一定的概率保留神经元，其他神经元去掉，输出为0，是一个防止过拟合的处理。
tf.nn.dropout(features, keep_prob)
以keep_prob的概率保留神经元，被保留的神经元影响扩大1/keep_prob，其他神经元丢弃，输出为0。

默认是所有的数据是否被保留是相互独立的，但是也可以通过noise_shape来调整是否相互独立。
noise_shape[批，行，列，通道]
noise_shape的维度为1，则关联，为size，则相互独立

例如
noise_shape[批数，1，4，通道数]
输入的是一个(1,4)size数据，则每个数据相互独立
noise_shape[批数，1，1，通道数]
输入的是一个(1,4)size数据，则每个数据相互关联，要不全为0，要不全保留。

代码：

a = tf.constant([[-1.0, 2.0, 3.0, 4.0]])
with tf.Session() as sess:
    b = tf.nn.dropout(a, 0.25)
    print(sess.run(b))

#输出：[[-4.  0.  0.  0.]]

a = tf.constant([[-1.0, 2.0, 3.0, 4.0]])
with tf.Session() as sess:
    b = tf.nn.dropout(a, 0.25,noise_shape=[1,4])
    print(sess.run(b))
    b = tf.nn.dropout(a, 0.25,noise_shape=[1,1])
    print(sess.run(b))

激活函数的选择：

• tanh:当特征相差比较明显时
• sigmoid:当特征相差不明显时
• 大部分的卷积和自然语言处理任务采用relu