深度学习（激活函数）

已于 2023-12-25 17:08:05 修改
阅读量3.4k 收藏 7
点赞数 3
分类专栏： 深度学习 文章标签： python 深度学习 人工智能
于 2022-04-02 13:58:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_65089713/article/details/123916539
版权
本文介绍了神经元的一般模型，强调激活函数的重要性。详细讨论了sigmoid及其改进型（包括sigmoid、sigmoid导数、Mesh和swish），以及relu及其改进型（relu、relu导数、Leaky relu、Prelu和ELU）。激活函数的选择应考虑非线性、可导性、单调性、有界性和计算效率等因素。对于初学者，推荐使用relu作为激活函数。
摘要由CSDN通过智能技术生成

欢迎大家关注我的B站：

偷吃薯片的Zheng同学的个人空间-偷吃薯片的Zheng同学个人主页-哔哩哔哩视频 (bilibili.com)

目录

1 神经元的一般模型

​ 2 激活函数的特点

3 常见激活函数

3.1 sigmoid及其改进型

3.1.1 sigmoid介绍

3.1.2 sigmoid的导数介绍

3.1.3 Mesh

3.1.4 swish

3.2 relu及其改进型

3.2.1 relu 介绍

3.2.2 relu的导数介绍

 3.2.3 Leaky relu

3.2.4 Prelu

3.2.5 ELU 

4 软饱和硬饱和

5 激活函数的选择

1 神经元的一般模型

一个基本的架构就是多个输入通过不同权重求加权和并加上偏置，这得到的结果通过一个非线性函数就得到了该神经元的输出。而这个非线性函数就是我们要讨论的激活函数。

 2 激活函数的特点

（1）激活函数一般是非线性的，这样多层神经网络就能拟合出各

了解本专栏 订阅专栏 解锁全文 超级会员免费看
无意2121
关注
专栏目录
订阅专栏
深度学习激活函数总结（sigmoid，tanh，ReLU，Leaky ReLU，EReLU，PReLU，Softmax，Swish，Maxout，Softplus）
雪的期许
01-06 5826
摘要 本文总结了深度学习领域最常见的10中激活函数（sigmoid、Tanh、ReLU、Leaky ReLU、ELU、PReLU、Softmax、Swith、Maxout、Softplus）及其优缺点。 前言 什么是激活函数？ 激活函数（Activation Function）是一种添加到人工神经网络中的函数，旨在帮助网络学习数据中的复杂模式。类似于人类大脑中基于神经元的模型，激活函数最终决定了要发射给下一个神经元的内容。 在人工神经网络中，一个节点的激活函数定义了该节点在给定的输入或输入集合下的输出。标
深度学习中激活函数
竹馨shine的专栏
04-15 9288
本文主要参考博文： 1. http://blog.csdn.net/u014595019/article/details/52562159 2. https://zhuanlan.zhihu.com/p/22142013 激活函数的作用        神经网络中激活函数的主要作用是提供网络的非线性建模能力。假设一个神经网络中仅包含线性卷积和全连接运算，那么该网络仅能够表达线性映射，即便
常见激活函数（Sigmoid、Tanh、Relu、Leaky Relu、Softmax）
最新发布
weixin_44115575的博客
06-20 4091
不同的激活函数有不同的输出范围，比如Sigmoid函数的输出在(0, 1)之间，Tanh函数的输出在(-1, 1)之间，ReLU函数的输出在[0, ∞)之间。在神经网络的基本结构中，每个神经元接收输入信号，对其进行加权求和后加上偏置项，然后将这个结果通过激活函数进行转换，得到神经元的输出。由于大多数实际问题都是非线性的，非线性激活函数使得神经网络能够拟合复杂的函数映射关系，从而解决非线性问题。：某些激活函数（如ReLU）具有计算效率高的优点，因为它们的计算只涉及到基本的算术操作，而不需要昂贵的指数运算。
深度学习之激活函数
light169的专栏
05-07 1808
转自[深度学习中常用激活函数总结 - 知乎] 0. 前言 本文总结了几个在深度学习中比较常用的激活函数：Sigmoid、ReLU、LeakyReLU以及Tanh，从激活函数的表达式、导数推导以及简单的编程实现来说明。 1. Sigmoid激活函数 Sigmoid激活函数表达式 Sigmoid导数表达式 Sigmoid编程实现 Sigmoid激活函数以及导函数图像 Sigmoid激活函数也叫做Logistic函数，因为它是线性回归转换为Logistic（逻辑回归）的核心函数，这
深度学习--激活函数
qq_45875106的博客
03-13 1135
文章目录前言一、为什么要用激活函数？二、激活函数的种类1.Relu函数2.Leaky_Relu函数3.sigmoid函数4.tanh函数 前言 深度学习模型中网络层中经常会用的激活函数，是神经网络不可或缺的一部分。激活函数会影响输入节点的输出，激活函数的选择是非常重要的，极大的影响模型训练的好坏。 一、为什么要用激活函数？ 神经网络的激活函数的主要作用就是将线性函数转换成非线性函数。神经网络都是由一系列的y=wx+b组成，y=wx+b是线性函数，不管采用多少个隐藏层其组合也都是线性函数，不能解决非线
深度学习中的激活函数
十一城
01-09 2033
激活函数（activation function）的反函数为连接函数。 ReLU 修正线性单元（Rectified Linear Unit, ReLU） a = max(0, z) 简单而粗暴，大于0的留下，否则一律为0 ReLU函数会使得部分神经元不会产生激活，造成网络结构的稀疏性，缓解过拟合的问题 优点：由上图可以看出，Relu得到的SGD的收敛速度较快 缺点：训练的时候很容易‘die’了，对于小于0的值，这个神经元的梯度永远都会是0，在实际操错中，如果learning rate很大，很可能网络中
深度学习中的激活函数一览
菱形继承
06-11 1471
激活函数概念 所谓激活函数（Activation Function），就是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。 什么是激活函数 激活函数（Activation functions）对于人工神经网络模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。它们将非线性特性引入到我们的网络中。如图1，在神经元中，输入的 inputs 通过加权，求和后，还被作用了一个函数，这个函数就是激活函数。引入激活函数是为了增 加神经网络模型的非线性。没有激活函数的每层都相当于矩阵相乘。就
python 深度学习中的4种激活函数
09-24
在Python深度学习领域，激活函数扮演着至关重要的角色，它们为神经网络引入了非线性，使得模型能够解决更复杂的问题。本文将详细介绍四种常见的激活函数：Sigmoid、Tanh、ReLU和SoftMax。 首先，激活函数的主要作用...
深度学习算法的激活函数研究.pdf
08-18
"深度学习算法的激活函数研究" 深度学习算法的激活函数研究是深度学习领域中的重要研究方向。激活函数是深度学习算法中的一种重要组成部分，可以引入非线性因素，提高算法的优化和泛化能力。大量学者通过提出或改进...
【深度学习中的激活函数的整理与使用总结】
vcsir的专栏
08-03 628
激活函数定义如下：激活函数计算加权总和，然后对其添加偏差以决定是否应该激活神经元。激活函数的目标是将非线性引入神经元的输出。没有激活函数的神经网络基本上是深度学习中的线性回归网络模型，因为这些函数对神经网络的输入执行非线性计算，使其能够学习和执行更复杂的任务。因此，研究激活函数的导数和应用，以及分析每个激活函数的优缺点，对于选择在特定神经网络模型中可能具有非线性和准确性的适当类型的激活函数是至关重要的。...
深度学习 激活函数概念
09-27
深度学习激活函数总结， 深度学习激活函数总结 深度学习激活函数总结 深度学习激活函数总结 深度学习激活函数总结
深度学习中的激活函数、损失函数、优化算法
weixin_43666478的博客
06-12 1356
深度学习中的激活函数、损失函数、优化算法DL小将激活函数sigmoidtanhrelugelusoftmax损失函数分类问题常用的损失函数回归问题常用的损失函数优化算法随机梯度下降SGDAdam牛顿法 DL小将 本文对深度学习中的激活函数、损失函数和常用到的优化算法进行总结分析、记录学习。优化算法用来更新模参数，经过一系列计算并通过激活函数得到的输出可以用于计算损失函数，目标是使损失函数尽可能小。 激活函数 现实生活中真实数据之间往往是复杂的非线性的关系，而不是简单的线性关系。深度学习中通过神经元的计算往往
深度学习--激活函数（持续更新）
abc31431415926的博客
11-19 1831
激活函数对于人工神经网络模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。
深度学习常用的激活函数
人无远虑，必有近忧
06-17 885
那就让我们来整理一下深度学习中离不开的激活函数！ 激活函数（Activation Function）是一种添加到人工神经网络中的函数，旨在帮助网络学习数据中的复杂模式。类似于人类大脑中基于神经元的模型，激活函数最终决定了要发射给下一个神经元的内容。 在人工神经网络中，一个节点的激活函数定义了该节点在给定的输入或输入集合下的输出。标准的计算机芯片电路可以看作是根据输入得到开（1）或关（0）输出的数字电路激活函数。因此，激活函数是确定神经网络输出的数学方程式，本文概述了深度学习中常见的十种激活函数...
深度学习之激活函数总结
Yummy
01-25 1771
深度学习中激活函数的作用是能够给神经网络加入一些非线性因素，使得神经网络可以更好地解决较为复杂的问题。没有激活函数，即便有再多的隐藏层，其整个网络跟单层神经网络也是等价的，可见激活函数的重要性如此之大。下面，分别介绍深度学习中常用的激活函数。 1. sigmoid sigmoid的公式如下：                   函数对应的图像如下：  
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

无意2121

创作不易，多多支持

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值