Matplotlib绘制激活函数

在机器学习中,理解激活函数的形状非常重要,所以我这里就简单的绘制下sigmoid,ReLu,PRelu, tanh, softmax的函数形状。

效果如下:
在这里插入图片描述

代码如下:

from matplotlib.pyplot import *
import numpy as np

# 阶跃函数
def step_function(x):
    if x > 0:
        return 1
    else:
        return 0


def step_function_np(x):
    return np.array(x > 0 , dtype=np.int)

# sigmoid
def sigmoid(x):
    return 1 / (1 + np.exp(-x))

# ReLu
def relu(x):
    return np.maximum(0, x)

# PReLU
def prelu(x):
    return np.where(x < 0, 0.25*x, x)

# tanh
def tanh(x):
    return (np.exp(x) - np.exp(-x)) / (np.exp(x) + np.exp(-x))

# softmax
def softmax(x):
    c = np.max(x)
    exp_x = np.exp(x - c)
    sum_exp_x = np.sum(exp_x)
    y = exp_x / sum_exp_x 
    return y

# 用例数据
x = np.linspace(-10, 10, 50)

# 创建新图表
figure()

# 阶跃函数 
# 将图表分为2行,3列,并选择第1个
subplot(2, 3, 1).set_title('step')
z = step_function_np(x)
plot(x, z)

# sigmoid
subplot(2, 3, 2).set_title('sigmoid')
z = sigmoid(x)
plot(x, z)

# relu 
subplot(2, 3, 4).set_title('relu')
z = relu(x)
plot(x, z)

# prelu 
subplot(2, 3, 5).set_title('prelu')
z = prelu(x)
plot(x, z)

# tanh
subplot(2, 3, 3).set_title('tanh')
z = tanh(x)
plot(x, z)

# softmax
# 如上所示,softmax函数的输出是0.0到1.0之间的实数。
# 并且,softmax函数的输出值的总和是1。
# 输出总和为1是softmax函数的一个重要性质。
# 正因为有了这个性质,我们才可以把softmax函数的输出解释为“概率”。
# 一般而言,神经网络只把输出值最大的神经元所对应的类别作为识别结果。
# 并且,即便使用softmax函数,输出值最大的神经元的位置也不会变。
# 因此,神经网络在进行分类时,输出层的softmax函数可以省略。
subplot(2, 3, 6).set_title('softmax')
z = softmax(x)
bar(x, z)

# 调整子图间距
subplots_adjust(wspace=0.3, hspace=0.5)  

# 显示图表
show()

详见:https://github.com/practice-more/matplotlib-practice/blob/master/func/activation_func.py

发布了155 篇原创文章 · 获赞 168 · 访问量 31万+
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: Age of Ai 设计师: meimeiellie

分享到微信朋友圈

×

扫一扫,手机浏览