神经网络与深度学习-8- 前馈神经网络1 -PyTorch

最新推荐文章于 2023-03-19 11:30:56 发布

明朝百晓生

最新推荐文章于 2023-03-19 11:30:56 发布

阅读量373

点赞数

分类专栏：人工智能文章标签：深度学习 pytorch 神经网络

4AM_明朝百晓生

本文链接：https://blog.csdn.net/chengxf2/article/details/126508898

版权

人工智能专栏收录该内容

102 篇文章 3 订阅

订阅专栏

参考

《神经网络与深度学习》

神经元
sigmoid 函数
Relu 函数
Swish 函数
GELU 函数
Maxout 函数

一神经元

把下面一个模型称为一个神经元

$z=w^Tx$

$a=f(a)$

其中 f 为激活函数

其具有以下性质

1：连续可导

2：激活函数以及其导数要竟可能简单

3：激活函数的导数要在一个合适的范围内，不能太大或者太小，影响训练的效率和稳定性

二 Sigmoid 型函数

指的的是一类S型函数,为两端饱和函数，常用的有Logistic 和 Tanh 函数

备注：

对于函数f(x),

当 $x\rightarrow -\infty$ ,其 $f^{'}(x)\rightarrow 0$ ,称为左饱和

当 $x \rightarrow +\infty$ ,其 $f^{'}(x) \rightarrow 0$ ,称为右饱和

同时满足左右饱和时，称为两端饱和

2.1 sigmoid 激活函数

$a=\frac{1}{1+e^{-z}} \in (0,1]$

因为 a 范围是0-1,其导数为

$a(1-a) \in [0,\frac{1}{4}]$

2.2 Tanh 激活函数

$a=\frac{e^{z}-e^{-z}}{e^{z}+e^{-z}} \in [-1,1]$

其导数为

$1-a^2 \in [0,1]$

# -*- coding: utf-8 -*-
"""
Created on Tue Aug 30 17:28:03 2022

@author: chengxf2
"""
# -*- coding: utf-8 -*-
"""
Created on Wed Aug 24 21:09:15 2022

@author: cxf
"""

import numpy as np
import matplotlib.pyplot as plt
import torch

class active():
    
    TANH = 1
    SIGMOD =2
    RELU = 3
    SOFTPLUS = 4
    SWISH = 5
    GELU = 6
    MAXOUT = 7
    SOFTMAX = 8

    

'''
激活函数
args
   z: 激活单元输入
return 
   a : 神经元输出
'''
def  f(z, act):
    
    if act is active.TANH:
        a = torch.tanh(z)
        tip ="tanh"
    
    elif act is active.SIGMOD:
         a = torch.sigmoid(z)
         tip = "Sigmoid"
    elif act is active.RELU:
         a = torch.relu(z)
         tip ="Relu"
    elif act is active.SOFTMAX:
         a = 1+torch.exp(z)
         a = torch.log(a)
         tip = "SoftPlus"
    elif  act is active.SWISH:
         beta = 0.5
         a = z*torch.sigmoid(beta*z)
         tip ="Swish"
    elif act is active.GELU:
          tip ="GELU"
          m = np.sqrt(2/np.pi)*(z+0.044715*np.power(z,3))
          a = 0.5*z*(1.0+torch.tanh(m))
         
   
          tip ="GELU"
    return a ,tip
        
    
    
'''
绘画
args
   act: 激活函数类型
'''
def Draw(act):
    z = np.linspace(-10,10,100)
    
    zTensor = torch.FloatTensor(z)
    
    a,tip = f(zTensor,act)
    
    #print(b)
    
    plt.plot(z, a.numpy(), color='g',marker=".",linestyle="-")
    plt.title(tip)
    plt.xlabel("z")
    plt.ylabel("a")
    
    plt.grid()
    plt.show()
    
Draw(active.GELU)

二 Hard-Logistic 函数和 Hard-Tanh 函数

Logistic 函数和 Hard-Tanh 都是非线性函数,在SISO算法里面有讲过

其计算时间是线性函数的50倍左右。

这边给出来其算法简化的方向

2.1 Logistic 函数 hard-Decision

$g(x)=\sigma(0)+x\sigma^{'}(0)$