TensorFlow 基础练习 4 activation 激活函数

1、激活函数 activation

对于神经网络算法来说，激活函数是必不可少的一部分，下面将绘制TensorFlow中常用的几个激活函数。

 

"""
author：NLP_xiaoyu
https://blog.csdn.net/Nr0315
Dependencies:
tensorflow: 1.10.0
matplotlib
"""

# 绘制不同的激活函数
import tensorflow as tf
import numpy as np
import matplotlib.pyplot as plt


# 创建数据
x_data = np.linspace(-10, 10, 100)   # 创建 x_data ，shape=（100，1）


# activation function 激活函数
y_relu = tf.nn.relu(x_data)
y_sigmoid = tf.nn.sigmoid(x_data)
y_tanh = tf.nn.tanh(x_data)
y_softplus = tf.nn.softplus(x_data)
y_softmax = tf.nn.softmax(x_data)   # softmax 激活函数输出是概率，一般用于分类时输出类别的概率

sess = tf.Session()
y_relu, y_sigmoid, y_tanh, y_softplus = sess.run([y_relu, y_sigmoid, y_tanh, y_softplus])
y_softmax = sess.run(y_softmax)
print(y_softmax)
# 画图
plt.figure(1, figsize=(8, 6))
plt.subplot(221)
plt.plot(x_data, y_relu, c='red', label='relu')
plt.legend(loc='best')

plt.subplot(222)
plt.plot(x_data, y_tanh, c='red', label='tanh')
plt.legend(loc='best')

plt.subplot(223)
plt.plot(x_data, y_sigmoid, c='red', label='sigmoid')
plt.legend(loc='best')

plt.subplot(224)
plt.plot(x_data, y_softplus, c='red', label='softplus')
plt.legend(loc='best')

plt.show()

 

运行结果：