常见激活函数及其导数

最新推荐文章于 2024-07-25 23:06:58 发布
最新推荐文章于 2024-07-25 23:06:58 发布
阅读量1.2k 收藏 9
点赞数 1
分类专栏： 深度学习知识总结 文章标签： 深度学习 激活函数 Relu swish
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45848575/article/details/126271808
版权

目录

激活函数的性质

常见激活函数

S型激活函数

斜坡函数

复合函数

常见激活函数及其导数

激活函数的性质

  • 连续并可导（允许少数点上不可导）的非线性函数。

        可导的激活函数可以直接利用数值优化的方法来学习网格参数。

  • 激活函数及其导数要尽可能的简单。

        有利于提高网格计算效率。

  • 激活函数的导函数的值域要在一个合适的区间内。

        不能太大也不能太小，否则会影响训练的效率和稳定性。

  • 单调递增

常见激活函数

常见激活函数包括：S型函数、斜坡函数和复合函数

S型激活函数

S型函数包括Logistic函数和tanh函数等

 

S型激活函数的性质：

  • 两个函数都是梯度饱和函数，即在两端的梯度接近于0。
  • Tanh函数是0中心化的，而logistic函数的输出恒大于0，非零中心化的输出使得最后一层的神经元的输入发生偏置偏移，并进一步使得梯度下降的收敛速度变慢。

斜坡函数

 

 斜坡函数的性质：

  • 计算更加高效。
  • 生物学合理性：单侧抑制、宽兴奋边界。
  • 在一定程度上缓解梯度消失问题。

复合函数

 

Swish函数性质：

  • 和Relu一样没有上边界，因此不会出现梯度饱和现象。
  • 有下边界，可以产生更强的正则化效果。
  • 非单调。
  • 处处连续可导，容易训练。

常见激活函数及其导数

 

白羊by
关注
  • 1
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
常见激活函数及其求导相关知识
VariableX的博客
05-31 4221
Sigmoid函数 Sigmoid函数介绍 Sigmoid 是常用的非线性的激活函数，公式如下： σ(x)=11+e−x \sigma(x)=\frac{1}{1+e^{-x}} σ(x)=1+e−x1​ 函数图像如下： 从图像可以看出，它能够把连续实值映射为0和1之间的输出，特别的，如果是非常大的负数，那么输出就是0；如果是非常大的正数，输出就是1。 Sigmoid 函数有很多局限性： 第一点，在数值的绝对值非常大的情况下，对应的函数图像的部分几乎是一条水平线。这意味着梯度几乎为0，不利于深层网络中梯度
深度学习数学基础之激活函数与导数
bailian的博客
08-07 389
​​激活函数与sigmoid函数的导数
深度神经网络常见激活函数及导数
andyL_05的博客
10-21 631
常用激活函数及导数 一、激活函数简介 激活函数是深度神经网络的重要组成部分，其作用是对模型引入非线性表达与特性。神经网络通常由多层神经元组成，后一层的单个神经元可以表达为前层神经元的线性组合。显然，如果不引入非线性因素，深层神经网络也仅仅是输入的线性组合。激活函数将非线性的表达引入模型，对每个神经元，根据前层输出线性计算得到的数值进行非线性的映射，从而增大模型的表达性能。 二、常见激活函数及导数 ...
【机器学习】常用激活函数及其导数
weixin_44623662的博客
07-07 2800
引言 神经网络在近似模拟任何函数时，离不开非线性变换。神经元与神经元如果没有非线性变换，
绘制激活函数及其导数(pytorch)(基础版)
huadushao的博客
07-02 3153
基本的激活函数及其导数绘图（导数部分使用pytorch的自动求导） 本文包括的激活函数有： 1.sigmoid 2.tanh 3.relu 4.leakyrelu 5.elu 准备绘图函数 %matplotlib inline import torch import numpy as np import matplotlib.pylab as plt import sys sys.path.append("..") from matplotlib import pyplot as plt from IPy
神经网络中的常用激活函数和导数
李威威的博客
05-17 5606
神经网络中的常用激活函数和导数 1、 sigmoid 函数 y=11+e−x y = \frac{1}{1 + e^{-x}} y=1+e−x1​ 导函数： KaTeX parse error: No such environment: equation at position 8: \begin{̲e̲q̲u̲a̲t̲i̲o̲n̲}̲\begin{split} … 又因为 1−y=1−11+...
深度学习中几种常用激活函数的导数
QQ_2642160196的博客
01-21 858
虽然在z=0时没有斜率但可以人为加上去，在实际上等于0的概率很小所以，令其等于两个中任意一个都可以。
神经网络常见激活函数求导
m0_46926492的博客
11-07 769
sigmoid(x)​=1+e−x1​​sigmoid′(x)​=(1+e−x1​)′=(1+e−x)20−(1+e−x)′​=(1+e−x)2e−x​=(1+e−x)(1+e−x)1+e−x−1​=(1+e−x)1+e−x−1​.(1+e−x)1​=[1。
常用激活函数总结
bitcarmanlee的博客
03-10 2099
1.sigmoid函数 sigmoid函数的形式为: f(x)=11+e−xf(x) = \frac{1}{1 + e^{-x}}f(x)=1+e−x1​ 其导数形式为: f′(x)=f(x)(1−f(x))f'(x) = f(x) (1 - f(x))f′(x)=f(x)(1−f(x)) sigmoid经常用于隐层神经元输出，函数与导数的图像如下 观察函数的图像，我们很容易发现其优点与缺点。 优点： 1.输出值再(0,1)之间，输出的范围在稳定的范围内，可以用作输出层。实际上sigmoid经常用作输出层
Pytorch中的激活函数
01-20
下面我们将详细讨论几种常见的激活函数及其在PyTorch中的实现。 首先，Sigmoid函数是最经典的激活函数之一，它通过公式g(z) = 1 / (1 + e^(-z))将输入z映射到(0, 1)的范围内。Sigmoid函数的导数g'(z) = a (1 - a)，...
06_三种常见的激活函数1
08-03
这里我们将深入探讨三种常见的激活函数：sigmoid、tanh和ReLU，以及它们各自的特点、优缺点和应用场景。 sigmoid函数是最早被广泛使用的激活函数之一。它的输出范围在0到1之间，呈S形曲线，且函数平滑，易于求导。...
神经网络激活函数.docx
11-05
本文主要讨论了几种常见的激活函数及其特点。 首先，S形函数（Sigmoid Function）是一种常用的激活函数，其导函数允许进行反向传播算法。S形函数的值域在(0,1)之间，曲线在两端逐渐饱和，导致在极端值附近的梯度...
神经网络激活函数.pdf
11-05
以下是关于几种常见的激活函数及其特点的详细说明： 1. S形函数（Sigmoid Function）： Sigmoid函数通常表示为f(x) = 1 / (1 + e^(-x))，其导数为f'(x) = f(x)(1 - f(x))。Sigmoid函数的输出值域为(0, 1)，形状...
激活函数_文档_
10-04
激活函数是深度学习模型中的关键组成部分，特别是在神经网络中，它们负责...综上所述，“激活函数”文档全面涵盖了各种常见的激活函数类型，其原理以及在实际应用中的优缺点，是理解和优化深度学习模型的重要参考资料。
**卷积神经网络典型CNN**
HP2LF的博客
07-23 1184
SeNet(Squeeze-and-Excitation Networks)是ImageNet 2017年分类任务冠军，核心思想是：Squeeze(挤压、压缩)和Excitation(激励)两个操作，其主要目的是通过显示的构建特征通道之间的相互依赖关系，采用特征重定向的策略，通过学习的方式自动的获取每个特征通道的重要程度，然后依据***这个重要程度去提升有用的特征，并抑制对于当前任务用处不大的特征。Squeeze特征压缩操作，将每个feature map的特征数据使用全局平均池化操作转换为一个数值(实数)，
智能火焰监测系统：基于深度学习的实时火灾预警平台
a871923942的博客
07-24 511
智能火焰监测系统：基于深度学习的实时火灾预警平台
深度学习的矩阵计算
最新发布
weixin_45706801的博客
07-25 281
在NumPy中，切片（slicing）是一种选择数组元素子集的方法。切片操作基于索引，但允许你指定一个范围的索引，而不是单个索引。这对于处理多维数组（NumPy中的ndarray对象）特别有用。
智能路面裂缝检测：基于YOLO和深度学习的全流程实现
a871923942的博客
07-23 480
引言路面裂缝检测是维护道路质量和延长道路寿命的重要手段。传统的检测方法往往费时费力且易受人为因素影响。为了提高检测效率和准确性，本文介绍了一种基于深度学习的路面裂缝检测系统。该系统包括用户界面，利用YOLO（You Only Look Once）v8/v7/v6/v5模型进行路面裂缝检测，并提供了完整的实现步骤和详细代码。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值