小编程（五）：激活函数sigmoid,tanh,relu,elu可视化

最新推荐文章于 2024-06-13 10:23:24 发布

StayFoolishAndHappy

最新推荐文章于 2024-06-13 10:23:24 发布

阅读量1.9k

点赞数

分类专栏：小编程 Python 文章标签：激活函数 sigmiod tanh relu 可视化

本文链接：https://blog.csdn.net/StayFoolish_Fan/article/details/80318151

版权

本文通过绘制sigmoid、tanh、relu和elu四种激活函数的图像，帮助读者直观理解它们的不同特性及适用范围。

摘要由CSDN通过智能技术生成

说明：绘制激活函数sigmoid,tanh,relu,elu，直观上了解一下。

#  __author__ = 'czx'
# coding=utf-8
import numpy as np
from numpy import *
import matplotlib
import matplotlib.pyplot as plt

def sigmoid(x):
    return 1.0/(1.0+exp(-x))

def tanh(x):
    return 2.0/(1.0+exp(-2*x))-1

def relu(x):
    y = x.copy()
    y[y<0]=0
    return y

def elu(x,a):
    y = x.copy()
    for i in range(y.shape[0]):
        if y[i]<0:
            y[i] = a * (exp(y[i])-1)
    return y

if __name__=='__main__':
    x= arange(-3.0,3.0,0.01)
    y_sigmoid = sigmoid(x)
    y_tanh = tanh(x)
    y_relu = relu(x)
    y_elu = elu(x,0.25)

    plt.plot(x,y_sigmoid,'r',linewidth=2.5,label=u'sigmoid')
    plt.plot(x,y_tanh,'g',linewidth=2.5,label=u'tanh')
    plt.plot(x,y_relu,'b',linewidth=2.5,label=u'relu')
    plt.plot(x,y_elu