神经网络的另一种非线性阶跃函数---ReLU函数

import numpy as np
import matplotlib.pylab as plt
from matplotlib.font_manager import FontProperties

font_set = FontProperties(fname=r"c:\windows\fonts\simsun.ttc", size=16)


# 线性整流函数(Rectified Linear Unit, ReLU),又称修正线性单元, 是一种人工神经网络中常用的激活函数(activation function),
# 通常指代以斜坡函数及其变种为代表的非线性函数。
# 比较常用的线性整流函数有斜坡函数 f(x) = max(0, x),以及带泄露整流函数 (Leaky ReLU),
# 其中为x神经元(Neuron)的输入。
# 线性整流被认为有一定的生物学原理,
# 并且由于在实践中通常有着比其他常用激活函数(譬如逻辑函数)更好的效果,
# 而被如今的深度神经网络广泛使用于诸如图像识别等计算机视觉人工智能领域。
# ReLU函数在输入大于0时,直接输出该值;在输入小于等于0时,输出0。
def relu(x):
    return np.maximum(0, x)


x = np.arange(-5.0, 5.0, 0.1)
y = relu(x)
plt.plot(x, y)
plt.ylim(-0.1, 1.1)
plt.title(u'神经网络的阶跃函数ReLU', fontproperties=font_set)
plt.show()

转载于:https://www.cnblogs.com/aguncn/p/10776598.html

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值