激活函数绘图代码

已于 2023-06-04 17:19:31 修改
阅读量198 收藏
点赞数
分类专栏： 深度学习 文章标签： python numpy 开发语言
于 2023-06-04 16:44:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cocapop/article/details/131033918
版权

1.ELU

import torch
import torch.nn as nn
x = torch.randn(100, 10)
# torch.nn.SELU(inplace=False)
func = nn.ELU()
y = func(x)
print(x[0])
print(y[0])
# tensor([-0.6763,  0.6669, -2.0544, -1.8889, -0.3581,  0.0884, -1.3734,  0.9181,0.4205,  0.1281])
# tensor([-0.4915,  0.6669, -0.8718, -0.8488, -0.3010,  0.0884, -0.7467,  0.9181,0.4205,  0.1281])
 
 
import torch
import torch.nn as nn
import torch.nn.functional as F
import matplotlib.pyplot as plt
 
class ELU(nn.Module):
    def __init__(self):
        super().__init__()
    def forward(self,x):
        x = F.elu(x)
        return x
 
class ELU(nn.Module):
    def __init__(self, alpha=1.0):
        super(ELU, self).__init__()
        self.alpha=alpha
 
    def forward(self, x):
        temp1 = F.relu(x)
        temp2 = self.alpha * (-1*F.relu(1-torch.exp(x)))
        return temp1 + temp2
x = torch.linspace(-10, 10, 1000).unsqueeze(0)
 
func = nn.ELU()
func2 = ELU()
 
y1 = func(x)
y2 = func2(x)
 
plt.plot(x.detach().numpy()[0],y1.detach().numpy()[0],label="PyTorch")
plt.plot(x.detach().numpy()[0],y2.detach().numpy()[0],label="myELU")
plt.legend()
plt.grid()
plt.show()

CELU：

import torch
import torch.nn as nn
x = torch.randn(100, 10)
# torch.nn.SELU(inplace=False)
func = nn.CELU()
y = func(x)
print(x[0])
print(y[0])
# tensor([-1.1315, -0.3425,  0.7596, -1.8625, -0.8638,  0.2654,  0.9773, -0.5946, 0.1348, -0.7941])
# tensor([-0.6775, -0.2900,  0.7596, -0.8447, -0.5785,  0.2654,  0.9773, -0.4482, 0.1348, -0.5480])
 
 
import torch
import torch.nn as nn
import torch.nn.functional as F
from matplotlib import pyplot as plt
class CELU(nn.Module):
    def __init__(self, alpha=1.0):
        super(CELU, self).__init__()
        self.alpha=alpha
 
    def forward(self, x):
        temp1 = F.relu(x)
        # temp2 = self.alpha * (F.elu(-1*F.relu(-1.*x/self.alpha)))
        temp2 = self.alpha * (-1*F.relu(1-torch.exp(x/self.alpha)))
        return temp1 + temp2
 
x = torch.linspace(-10, 10, 1000).unsqueeze(0)
 
func = nn.CELU()
func2 = CELU()
 
y1 = func(x)
y2 = func2(x)
 
plt.plot(x.detach().numpy()[0],y1.detach().numpy()[0],label="PyTorch")
plt.plot(x.detach().numpy()[0],y2.detach().numpy()[0],label="myCELU")
plt.legend()
plt.grid()
plt.show()

SELU：

import torch
import torch.nn as nn
import torch.nn.functional as F
from matplotlib import pyplot as plt
class SELU(nn.Module):
    def __init__(self):
        super(SELU, self).__init__()
        self.alpha = 1.6732632423543772848170429916717
        self.scale = 1.0507009873554804934193349852946
    def forward(self, x):
        temp1 = self.scale * F.relu(x)
        # temp2 = self.scale * self.alpha * (F.elu(-1*F.relu(-1*x)))
        temp2 = self.scale * self.alpha * (-1*F.relu(1-torch.exp(x)))
        return temp1 + temp2
 
x = torch.linspace(-10, 10, 1000).unsqueeze(0)
 
func2 = nn.SELU()
func = SELU()
 
y1 = func(x)
y2 = func2(x)
 
plt.plot(x.detach().numpy()[0],y1.detach().numpy()[0],label="mySELU")
plt.plot(x.detach().numpy()[0],y2.detach().numpy()[0],label="PyTorch")
plt.legend()
plt.grid()
plt.show()

GELU：

import torch.nn as nn
import torch
import matplotlib.pyplot as plt
import numpy as np
 
class GELU(nn.Module):
	def __init__(self, beta=1):
		super(GELU, self).__init__()
	def forward(self, x):
		return F.gelu(x)
 
class GELU(nn.Module):
	def __init__(self, beta=1):
		super(GELU, self).__init__()
	def forward(self, x):
		x_= np.sqrt(2./np.pi) * (x+0.044715 * x * x * x)
		return 0.5 * x * (1 + (torch.exp(x_) - torch.exp(-x_))/(torch.exp(x_) + torch.exp(-x_)))
 
x = torch.linspace(-10, 10, 1000).unsqueeze(0)
# torch.nn.SELU(inplace=False)
func2 = nn.GELU()
func = GELU()
 
y1 = func(x)
y2 = func2(x)
 
plt.plot(x.detach().numpy()[0],y1.detach().numpy()[0],label="myGELU")
plt.plot(x.detach().numpy()[0],y2.detach().numpy()[0],label="PyTorch")
plt.legend()
plt.grid()
plt.show()

import matplotlib.pyplot as plt
import numpy as np

class ActivateFunc():
    def __init__(self, x, b=None, lamb=None, alpha=None, a=None):
        super(ActivateFunc, self).__init__()
        self.x = x
        self.b = b
        self.lamb = lamb
        self.alpha = alpha
        self.a = a

    def Sigmoid(self):
        y = np.exp(self.x) / (np.exp(self.x) + 1)
        y_grad = y*(1-y)
        return [y, y_grad]

    def Tanh(self):
        y = np.tanh(self.x)
        y_grad = 1 - y * y
        return [y, y_grad]

    def Swish(self): #b是一个常数，指定b
        y = self.x * (np.exp(self.b*self.x) / (np.exp(self.b*self.x) + 1))
        y_grad = np.exp(self.b*self.x)/(1+np.exp(self.b*self.x)) + self.x * (self.b*np.exp(self.b*self.x) / ((1+np.exp(self.b*self.x))*(1+np.exp(self.b*self.x))))
        return [y, y_grad]

    def ELU(self): # alpha是个常数，指定alpha
        y = np.where(self.x > 0, self.x, self.alpha * (np.exp(self.x) - 1))
        y_grad = np.where(self.x > 0, 1, self.alpha * np.exp(self.x))
        return [y, y_grad]

    def SELU(self):  # lamb大于1，指定lamb和alpha
        y = np.where(self.x > 0, self.lamb * self.x, self.lamb * self.alpha * (np.exp(self.x) - 1))
        y_grad = np.where(self.x > 0, self.lamb*1, self.lamb * self.alpha * np.exp(self.x))
        return [y, y_grad]

    def ReLU(self):
        y = np.where(self.x < 0, 0, self.x)
        y_grad = np.where(self.x < 0, 0, 1)
        return [y, y_grad]

    def PReLU(self):    # a大于1，指定a
        y = np.where(self.x < 0, self.x / self.a, self.x)
        y_grad = np.where(self.x < 0, 1 / self.a, 1)
        return [y, y_grad]

    def LeakyReLU(self):   # a大于1，指定a
        y = np.where(self.x < 0, self.x / self.a, self.x)
        y_grad = np.where(self.x < 0, 1 / self.a, 1)
        return [y, y_grad]

    def Mish(self):
        f = 1 + np.exp(x)
        y = self.x * ((f*f-1) / (f*f+1))
        y_grad = (f*f-1) / (f*f+1) + self.x*(4*f*(f-1)) / ((f*f+1)*(f*f+1))
        return [y, y_grad]

    def ReLU6(self):
        y = np.where(np.where(self.x < 0, 0, self.x) > 6, 6, np.where(self.x < 0, 0, self.x))
        y_grad = np.where(self.x > 6, 0, np.where(self.x < 0, 0, 1))
        return [y, y_grad]

    def Hard_Swish(self):
        f = self.x + 3
        relu6 = np.where(np.where(f < 0, 0, f) > 6, 6, np.where(f < 0, 0, f))
        relu6_grad = np.where(f > 6, 0, np.where(f < 0, 0, 1))
        y = self.x * relu6 / 6
        y_grad = relu6 / 6 + self.x * relu6_grad / 6
        return [y, y_grad]

    def Hard_Sigmoid(self):
        f = (2 * self.x + 5) / 10
        y = np.where(np.where(f > 1, 1, f) < 0, 0, np.where(f > 1, 1, f))
        y_grad = np.where(f > 0, np.where(f >= 1, 0, 1 / 5), 0)
        return [y, y_grad]


def PlotActiFunc(x, y, title):
    plt.grid(which='minor', alpha=0.2)
    plt.grid(which='major', alpha=0.5)
    plt.plot(x, y)
    plt.title(title)
    plt.show()

def PlotMultiFunc(x, y):
    plt.grid(which='minor', alpha=0.2)
    plt.grid(which='major', alpha=0.5)
    plt.plot(x, y)


if __name__ == '__main__':
    x = np.arange(-10, 10, 0.01)
    activateFunc = ActivateFunc(x)
    activateFunc.b = 1
    PlotActiFunc(x, activateFunc.Sigmoid()[0], title='Sigmoid')
    PlotActiFunc(x, activateFunc.Swish()[0], title='Swish')
    PlotActiFunc(x, activateFunc.ReLU()[0], title='ReLU')
    PlotActiFunc(x, activateFunc.Mish()[0], title='Mish')
    PlotActiFunc(x, activateFunc.Mish()[1], title='Mish-grad')
    PlotActiFunc(x, activateFunc.Swish()[1], title='Swish-grad')

    plt.figure(1)
    PlotMultiFunc(x, activateFunc.Mish()[1])
    PlotMultiFunc(x, activateFunc.Swish()[1])
    plt.legend(['Mish-grad', 'Swish-grad'])
    plt.figure(2)

    PlotMultiFunc(x, activateFunc.Swish()[0])
    PlotMultiFunc(x, activateFunc.Mish()[0])
    plt.legend(['Swish', 'Mish'])

    plt.figure(3)
    PlotMultiFunc(x, activateFunc.Swish()[0])
    PlotMultiFunc(x, activateFunc.Hard_Swish()[0])
    plt.legend(['Swish', 'Hard-Swish'])

    plt.figure(4)
    PlotMultiFunc(x, activateFunc.Sigmoid()[0])
    PlotMultiFunc(x, activateFunc.Hard_Sigmoid()[0])
    plt.legend(['Sigmoid', 'Hard-Sigmoid'])

    plt.figure(5)
    PlotMultiFunc(x, activateFunc.ReLU()[0])
    PlotMultiFunc(x, activateFunc.ReLU6()[0])
    plt.legend(['ReLU', 'ReLU6'])

    plt.figure(6)
    PlotMultiFunc(x, activateFunc.Swish()[1])
    PlotMultiFunc(x, activateFunc.Hard_Swish()[1])
    plt.legend(['Swish-grad', 'Hard-Swish-grad'])

    plt.figure(7)
    PlotMultiFunc(x, activateFunc.Sigmoid()[1])
    PlotMultiFunc(x, activateFunc.Hard_Sigmoid()[1])
    plt.legend(['Sigmoid-grad', 'Hard-Sigmoid-grad'])

    plt.figure(8)
    PlotMultiFunc(x, activateFunc.ReLU()[1])
    PlotMultiFunc(x, activateFunc.ReLU6()[1])
    plt.legend(['ReLU-grad', 'ReLU6-grad'])

    plt.show()

cocapop
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
ELU激活函数以及python画图
weixin_39107928的博客
10-29 3976
Elu激活函数论文：https://arxiv.org/pdf/1511.07289v5.pdf 论文理解：https://blog.csdn.net/mao_xiao_feng/article/details/53242235?locationNum=9&fps=1 https://blog.csdn.net/m0_37561765/article/details/78398098 ht...
API之网络函数---整理网络函数及功能
09-01
VerLanguageName 这个函数能根据16位语言代码获取一种语言的名称 VerQueryValue 这个函数用于从版本资源中获取信息 WriteFile 将数据写入一个文件 WriteFileEx 与WriteFile类似，只是它只能用于异步写操作，并...
使用matplotlib绘制sigmoid激活函数的图形.ipynb
06-14
——学习参考资料：仅用于个人学习使用！ 本代码仅作学习交流，切勿用于商业用途，否则后果自负。若涉及侵权，请联系，会尽快处理! 未进行详尽测试，请自行调试!
python中的sum函数.sum(axis=1)
weixin_30577801的博客
10-18 780
看起来挺简单的样子，但是在给sum函数中加入参数。sum（a，axis=0）或者是.sum(axis=1) 就有点不解了 在我实验以后发现 我们平时用的sum应该是默认的axis=0 就是普通的相加 而当加入axis=1以后就是将一个矩阵的每一行向量相加 例如： import numpy as np np.sum([[0,1,2],[2,1,3],axis=1)...
tensorflow 激活函数 elu exponential
power的专栏
03-28 2293
#!/usr/bin/env python3 # -*- coding:UTF-8 -*- import tensorflow as tf import numpy as np from tensorflow.python import debug as tf_debug #tf.keras.backend.set_session(tf_debug.LocalCLIDebugWrap...
【python】matplotlib绘制激活函数
ting的博客
05-24 1114
激活函数图像的绘制首先我们需要激活函数的定义，然后使用 matplotlib 进行简单绘制
图注意网络GAT理解及Pytorch代码实现【PyGAT代码详细注释】
锵锵锵锵蒋的博客
03-01 7841
对GAT的Pytorch版本PyGAT进行注释，包括Cora数据集的处理和使用！
JAVA上百实例源码以及开源项目源代码
09-17
5个目标文件，演示Address EJB的实现，创建一个EJB测试客户端，得到名字上下文，查询jndi名，通过强制转型得到Home接口，getInitialContext()函数返回一个经过初始化的上下文，用client的getHome()函数调用Home接口...
OpenGL 系统开发的源代码
10-05
2．1．5 规则三维物体绘制函数 2．1．6 实例介绍 2．2 曲线与曲面绘制 2．2．1 曲线的基本理论 2．2．2 样条曲线的绘制 2．2．3 样条曲面的绘制 2．2．4 NURBS曲线和曲面绘制 2．2．5 二次曲面 2．3 显示列表 ...
PyTorch学习笔记之回归实战
12-25
import torch.nn.functional as F # 主要实现激活函数 import matplotlib.pyplot as plt # 绘图的工具 from torch.autograd import Variable # 生成伪数据 x = torch.unsqueeze(torch.linspace(-1, 1, 100), dim = 1...
使用python中的matplotlib绘画激活函数图像
qq_45190745的博客
05-04 1116
使用python中的matplotlib绘画激活函数图像
GAT源码分析——从DEBUG走起
weixin_41724843的博客
11-19 2945
GAT模型源码，动态调试看清晰
python对常见的激活函数绘图操作(详细代码讲解)
最新发布
beyond谚语的博客
01-08 2220
对常见的激活函数sigmoid、tanh、relu、elu、prelu进行绘制以及代码详解
各种激活函数的计算公式、图像以及实现代码
qq_28249373的博客
03-08 4037
整理出目前神经网络模型中应用最广泛的20种激活函数，对它们的计算公式、图像特点进行介绍，并使用python代码实现这些激活函数的计算。这些激活函数包括stair、hardtan、linear、logistic、loggy、relu、relu6、elu、selu、relie、ramp、leaky、tanh、gelu、softplus、plse、lhtan、swish、mish、hardmish。
Matplotlib绘制激活函数
长歌行
03-26 1120
在机器学习中，理解激活函数的形状非常重要，所以我这里就简单的绘制下sigmoid，ReLu，PRelu, tanh, softmax的函数形状。 效果如下： 代码如下： from matplotlib.pyplot import * import numpy as np # 阶跃函数 def step_function(x): if x > 0: return 1...
matplotlib.pyplot绘制常见激活函数图像
Axis37的博客
05-05 1416
通过绘制几个常见的激活函数图像，简单介绍pyplt绘制子图的方法，包括子图绘制，间距调整，子图和主图标题设置，子图坐标轴标签设置，子图坐标范围调整等。 下面是代码示例和绘图结果示例 # 该代码用于绘制常见激活函数的图像，同时作为一个matplotlib绘制子图的实例 import numpy as np from matplotlib import pyplot as plt import math import pygal import matplotlib # 函数定义，这是截至2017.11比
【深度学习】论文导读：ELU激活函数的提出（FAST AND ACCURATE DEEP NETWORK LEARNING BY EXPONENTIAL LINEAR UNITS (ELUS)）
热门推荐
xf__mao的博客
11-20 3万+
FAST AND ACCURATE DEEP NETWORK LEARNING BY EXPONENTIAL LINEAR UNITS (ELUS)（2016，Djork-Arn´e Clevert, Thomas Unterthiner & Sepp Hochreiter） 论文下载 一、简介 ELU的表达式： 四种激活函数（ELU，LReLU，ReLU，SReLU）比较图：
常用激活函数activation function（Softmax、Sigmoid、Tanh、ReLU和Leaky ReLU) 附激活函数图像绘制python代码
记录知识，学习分享
04-10 1万+
激活函数是确定神经网络输出的数学方程式。 激活函数的作用：给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数。 1、附加到网络中的每个神经元，并根据每个神经元的输入来确定是否应激活。 2、有助于将每个神经元的输出标准化到1到0或-1到1的范围内。 常用非线性激活函数对比 激活函数 公式 函数图像 适合场景 Softmax 多分类任务输出层 Sigmoid 二分类任务输出层，模型隐藏层 Tanh
请用python编写绘图显示relu激活函数的代码
05-18
好的，我可以为你提供绘制ReLU激活函数的Python代码。我们将使用Matplotlib库进行绘图。 ```python import numpy as np import matplotlib.pyplot as plt def relu(x): return np.maximum(0,x) x = np.linspace...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值