简单介绍Sigmoid,ReLU两个激活函数

最新推荐文章于 2024-03-13 17:02:47 发布
最新推荐文章于 2024-03-13 17:02:47 发布
阅读量756 收藏 1
点赞数 1
文章标签： 神经网络 激活函数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40680263/article/details/96510832
版权
本文介绍了神经网络中的激活函数，包括阶跃函数的概念，以及Sigmoid和ReLU函数的特性。Sigmoid函数因其平滑性可输出0-1间的连续值，而ReLU函数则因其简单和高效成为现代神经网络的首选激活函数。
摘要由CSDN通过智能技术生成

神经网络中的激活函数

激活函数就是将输入信号的总合转换为输出信号。

举例（阶跃函数）

对于如下图所示的感知机
在这里插入图片描述
可以直观的看出对于神经元y，当 b + w 1 x 1 + w 2 x 2 < = 0 b+w_1x_1+w_2x_2<=0 b+w1​x1​+w2​x2​

最低0.47元/天 解锁文章
书亚shua
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Sigmoid型和ReLU型激活函数
weixin_28840341的博客
10-17 393
1.Sigmoid型函数 Sigmoid 型函数是指一类S 型曲线函数，为两端饱和函数．常用的Sigmoid型函数有Logistic 函数和Tanh 函数． 1.1 Hard-Logistic 函数和Hard-Tanh 函数 图4.2给出了Logistic 函数和Tanh 函数的形状．Tanh 函数的输出是零中心化的（Zero-Centered），而Logistic函数的输出恒大于0．非零中心化的输出会使得其后一层的神经元的输入发生偏置偏移（Bias Shift），并进一步使得梯度下降...
Python3神经网络,经典简单示例sigmoid激活函数
billyhhzh的博客
11-01 2063
选用了sigmoid作为激活函数，作为输出层的计算(多分类版本的logistic回归)，影响输出层的delta计算； 选用了squared-error作为损失函数(注：会影响calculate_loss函数的计算以及输出层的delta计算)   __author__ = 'http://clayandgithub.github.io/' import numpy as np from sk...
深度残差网络+自适应参数化ReLU激活函数：调参记录2
ABCD_202020的博客
04-27 256
续上一篇： 深度残差网络+自适应参数化ReLU激活函数（调参记录1） https://blog.csdn.net/dangqing1988/article/details/105590515 本文依然是测试深度残差网络+自适应参数化ReLU激活函数，残差模块的数量增加到了27个，其他保持不变，卷积核的个数依然是8个、16个到32个，继续测试在Cifar10数据集上的效果。 自适应参数化ReLU激活...
深度学习Deep Learning（04）：权重初始化问题2_ReLu激励函数
莫失莫忘的博客
01-09 4177
github地址：https://github.com/lawlite19/DeepLearning_Python 三、权重初始化问题2_ReLu激励函数1、说明 参考论文：https://arxiv.org/pdf/1502.01852v1.pdf 或者查看这里，我放在github上了：https://github.com/lawlite19/DeepLearning_Python/blob/ma
恒等函数，阶跃函数，sigmoid函数，softmax使用及其特点
越过山丘
04-28 474
import matplotlib.pyplot as plt import numpy as np # 神经网络激活函数 # 阶跃函数 def step_function(x): return np.array(x > 0, dtype=np.int) # sigmoid函数 --二元分类问题 def sigmoid(x): return 1 / (1 + np.exp(-x)) # relu函数 def ReLU(x): return np.maximum
[小白系列]sigmoid和tanh激活函数的绘制(分开画，合起来画，总有一款适合你），逐行代码详解
12-21
本篇文章将详细讲解两种常见的激活函数——Sigmoid和Tanh，并通过Python代码演示如何分别绘制它们的图形以及如何将它们合在一起画在同一张图上。 Sigmoid函数，也称为Logistic函数，表达式为： \[ f(x) = \frac{1}{...
文档：激活函数的比较和优缺点sigmoid tanh relu.pdf
11-10
本文将重点讨论三种常见的激活函数：sigmoid、tanh和ReLU，以及它们各自的优缺点和应用场景。 1. **sigmoid** 函数是一种S型曲线，其公式为`f(x) = 1 / (1 + e^(-x))`。它将实数值映射到(0,1)之间，常用于二分类...
神经网络最全激活函数，包括sigmoid，tanh，ReLU，
最新发布
06-23
本文将详细介绍标题和描述中提到的几种激活函数，包括sigmoid、tanh、ReLU以及ELU、PReLU和softplus等。 1. **Sigmoid函数**： Sigmoid函数是最早被广泛使用的激活函数之一，其公式为`f(x) = 1 / (1 + e^(-x))`。...
python 深度学习中的4种激活函数
09-24
本文将详细介绍四种常见的激活函数：Sigmoid、Tanh、ReLU和SoftMax。 首先，激活函数的主要作用是将神经元的线性组合转换为非线性输出，这对于处理线性不可分的数据至关重要。例如，在图像B所示的复杂分类问题中，...
2020-10-12
weixin_50890357的博客
10-12 222
C语言主函数介绍 1.#include stdio.h:包含一个标准的输入输出头文件，作用是从键盘输入信息，向屏幕上输出信息，没有该头文件，就不能实现该功能 2.int main（）：int表示函数的返回值类型；main为主函数，是程序的入口，一个程序有且只有一个main函数；（）的作用是传入参数 3.｛｝：内部放的内容为函数的功能实现体 4.return 0：表示函数，返回值为0，即再调用main（）函数时，函数的值为0 ...
常用的激活函数（Sigmoid、Tanh、ReLU等）
Billie使劲学的博客
06-29 2万+
目录一、激活函数定义二、梯度消失与梯度爆炸 1.什么是梯度消失与梯度爆炸2.梯度消失的根本原因3.如何解决梯度消失与梯度爆炸问题 三、常用激活函数1.Sigmoid2.Tanh3.ReLU4.Leaky ReLU5.ELU6.softmax7.Swish 激活函数 (Activation functions) 对于人工神经网络模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。它们将非线性特性引入到神经网络中。在下图中，输入的 inputs 通过加权，求和后，还被作用了一个函数f，这
神经网络中激活函数的绘制——阶跃函数、sigmoid函数、ReLU函数
m0_67587248的博客
03-13 1139
【代码】神经网络中激活函数的绘制——阶跃函数、sigmoid函数、ReLU函数。
深入理解ReLU函数（ReLU函数的可解释性）
热门推荐
Kanny
01-06 9万+
本篇博文主要来源于对文章 Unwrapping The Black Box of Deep ReLU Networks: Interpretability, Diagnostics, and Simplification 的学习，同时还有部分内容摘自wiki百科。 什么是ReLU函数？ ReLU，全称为：Rectified Linear Unit，是一种人工神经网络中常用的激活函数，通常意义下，其指代数学中的斜坡函数，即 f(x)=max⁡(0,x) f(x)=\max(0,x) f(x)=max(0,x
激活函数ReLU、Leaky ReLU、PReLU和RReLU
aizhouqian5537的博客
03-28 1万+
“激活函数”能分成两类——“饱和激活函数”和“非饱和激活函数”。 sigmoid和tanh是“饱和激活函数”，而ReLU及其变体则是“非饱和激活函数”。使用“非饱和激活函数”的优势在于两点： 1.首先，“非饱和激活函数”能解决所谓的“梯度消失”问题。 2.其次，它能加快收敛速度。 Sigmoid函数需要一个实值输入压缩至[0,1]的范围 σ(x) = 1 /...
干货|通过函数图像，理解26种神经网络激活函数
小白学视觉
09-27 594
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达在本文中，作者对包括 Relu、Sigmoid 在内的 26 种激活函数做了可视化，并附上了神经网络的相关属性，为大家了解激活函数提供了很好的资源。在神经网络中，激活函数决定来自给定输入集的节点的输出，其中非线性激活函数允许网络复制复杂的非线性行为。正如绝大多数神经网络借助某种形式的梯度下降进行优化，激活函数需要是可微分（或者至...
softmax和sigmoid在分类任务中的意义区别
龙雪的博客
09-17 2812
激活函数介绍 对于熟悉机器学习或神经网络的读者来说，sigmoid与softmax两个激活函数并不陌生，但这两个激活函数在逻辑回归中应用，也是面试和笔试会问到的一些内容，掌握好这两个激活函数及其衍生的能力是很基础且重要的，下面为大家介绍下这两类激活函数。sigmoid激活函数从函数定义上来看，sigmoid激活函数的定义域能够取任何范围的实数，而返回的输出值在0到1的范围内。sigmoid函数也被称为S型函数，这是由于其函数曲线类似于S型，在下面的内容中可以看到。此外，该函数曲线也可以用于统计中，使用的是累
神经网络中的激活函数
Losteng的博客
03-09 4万+
最近在看深度学习的东西，激活函数是其中的一个环节，就从网上的一搜寻关于激活函数的介绍激活函数是用来加入非线性因素的，因为线性模型的表达能力不够。常用激活函数        激活函数的选择是构建神经网络过程中的重要环节，下面简要介绍常用的激活函数。主要解决传统神经网络对非线性问题的表征弱的问题。(5) 双曲正切函数　　该函数的导函数：(6)ReLu(Rectified Linear Units)函数...
几个常用的激活函数
weixin_44414593的博客
08-25 1320
激活函数的作用 激活函数的作用主要是在网络中增加非线性的因素，试想一下如果没有激活函数，那么全连接or卷积神经网络将会是纯线性黑箱。 首先需要了解激活函数的几个特性。 饱和 当x->+00时，h’(x)->0,右饱和。 当x->-00时，h’(x)->0,左饱和。 当一个激活函数即是左饱和又是右饱和时，称之为饱和。 硬饱和&软饱和 当x>x1时，h’(x)->0,右硬饱和。 当x<x1时，h’(x)->0,左硬饱和。 当一个激活函数即是左硬饱和又是右硬
神经网络入门
NNeter的专栏
05-16 2万+
游戏编程中的人工智能技术.神经网络入门>. (连载之一)用平常语言介绍神经网络(Neural Networks in Plain English) 因为我们没有很好了解大脑，我们经常试图用最新的技术作为一种模型来解释它。在我童年的时候，我们都坚信大脑是一部
Sigmoid 函数、Tanh 和 ReLU 函数
08-05
### 回答1： Sigmoid 函数是一种非线性函数，它的输出值介于 0 和 1 之间，可以用来激活神经元。Tanh 函数也是一种非线性函数，其输出值也介于 -1 和 1 之间，可以用来激活神经元。ReLU 函数是一种常用的非线性函数，它的输出值是输入值的绝对值，可以用来激活神经元。 ### 回答2： Sigmoid函数、Tanh函数和ReLU函数都是常用的激活函数，常用于神经网络模型中。 1. Sigmoid函数是一个非线性的函数，其数学定义为：f(z) = 1 / (1 + exp(-z))。它有一个S形的曲线，取值范围在0到1之间。Sigmoid函数的主要特点是将输入的连续实数转化为概率形式的输出，常用于二分类问题中，可以将输出映射到0和1之间，表示了某个事件发生的概率。然而，由于其容易出现梯度消失和梯度爆炸的问题，当网络层数较多时，Sigmoid函数在反向传播中可能导致梯度无法有效地传播。 2. Tanh函数是双曲线正切函数，其数学定义为：f(z) = (exp(z) - exp(-z)) / (exp(z) + exp(-z))。类似于Sigmoid函数，Tanh函数也是非线性函数，但其输出范围在-1到1之间。相比于Sigmoid函数，Tanh函数在原点附近有一个均值为0的对称点，具有更好的中心化特性，可以减小梯度爆炸的问题。然而，Tanh函数仍然存在梯度消失的问题。 3. ReLU函数是修正线性单元函数，其数学定义为：f(z) = max(0, z)。ReLU函数在输入大于零时输出等于输入，小于零时输出为零。ReLU函数具有简单的计算形式，并且在训练过程中具有更快的收敛速度。由于ReLU函数的输出非负，不存在梯度消失的问题。然而，ReLU函数在输入为负时会失活，导致相应神经元的权重和梯度无法进行更新。为解决这个问题，出现了ReLU的变种，如Leaky ReLU、PReLU等。 总结来说，Sigmoid函数和Tanh函数在某些场景下仍然有一定的应用，但在深度神经网络中，ReLU函数更受欢迎，因为它可以在一定程度上减轻梯度消失和梯度爆炸问题，并提供更快的训练速度。 ### 回答3： Sigmoid函数是一种常用的激活函数，它将输入的实数映射到一个介于0和1之间的概率值。其公式为： \[f(x) = \frac{1}{1 + e^{-x}}\] 该函数的特点是输出在区间(0,1)之间，对于大部分实数输入都能产生有效的梯度，但在输入接近两端的时候，梯度会变得很小。因此，Sigmoid函数在深度神经网络的训练过程中可能会出现梯度消失的问题。 Tanh函数是双曲正切函数，它将输入的实数映射到一个介于-1和1之间的值。其公式为： \[f(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}}\] 与Sigmoid函数相比，Tanh函数的输出区间更大，梯度也更大。它相对于原点对称，并且输入为负数时，输出接近-1，输入为正数时，输出接近1。因此，Tanh函数适用于输出介于-1和1之间的情况，但仍然存在梯度消失的问题。 ReLU函数是修正线性单元函数，它将输入的实数映射为输入本身或者0。其公式为： \[f(x) = max(0, x)\] ReLU函数当输入为正数时，输出等于输入；当输入为负数时，输出为0。相较于Sigmoid函数和Tanh函数，ReLU函数计算速度更快，并且不存在梯度消失的问题。然而，ReLU函数也存在一个缺点，就是在输入为负数时，梯度为0，从而导致对应的权重无法更新。为了解决这个问题，一些改进的版本如Leaky ReLU和Parametric ReLU被提出。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值