激活函数

最新推荐文章于 2024-04-26 23:16:24 发布
最新推荐文章于 2024-04-26 23:16:24 发布
阅读量178 收藏
点赞数
分类专栏： 卷积神经网络原理专题 文章标签： 神经网络 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37554556/article/details/111567988
版权

激活函数


“激活函数”，又称“非线性映射函数”，是深度卷积神经网络中不可或缺的关键模块。可以说，深度网络模型其强大的表示能力便是由激活函数的非线性带来的。本文将介绍七种当下深度卷积神经网络中常用的激活函数：Sigmoid型函数、tanh型函数、ReLU、LeakyReLU、参数化ReLU、随机化ReLU和指数化线性单元ElU。
直观上，激活函数模拟了生物神经元特性，接受一组输入信号并产生输出，并通过一个阈值模拟神经元的激活和兴奋状态。

在这里插入图片描述

由于本文涉及到较多的公式，为了方便，我将截图展示。

Sigmoid型函数

在这里插入图片描述
在这里插入图片描述

tanh(x)型函数

在这里插入图片描述

修正线性单元(ReLU)

在这里插入图片描述
在这里插入图片描述

Leaky ReLU

在这里插入图片描述

参数化ReLU

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

随机化ReLU

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

指数化线性单元

在这里插入图片描述

小结

1.激活函数(非线性映射函数)为深度网络模型引入非线性而产生强大表示能力功不可没;
2.Sigmoid型函数是历史上最早的激活函数之一，但是它与tanh(x)型函数一样会产生梯度饱和效应，因此在实践中不建议使用；
3.建议首先使用的目前最常用的ReLU激活函数，但需注意模型参数初始化和学习率的设置；
4.为进一步提高模型精度，可尝试使用LeakyReLU、参数化ReLU、随机化ReLU和ELU。但是在这之间实际性能优劣并无一致性结论，需具体问题具体讨论。
注：文章选自《解析深度学习—卷积神经网络原理与视觉实践》魏秀参著

毛毛真nice
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
python 深度学习中的4种激活函数
09-24
在Python深度学习领域，激活函数扮演着至关重要的角色，它们为神经网络引入了非线性，使得模型能够解决更复杂的问题。本文将详细介绍四种常见的激活函数：Sigmoid、Tanh、ReLU和SoftMax。 首先，激活函数的主要作用...
常见激活函数excel图
08-07
常见激活函数的图，用excel画的，有图有数据，高清缩放不变形，论文必备，包括Sigmoid、Tanh、ReLU、LeakyReLU
8.函数
weixin_44044004的博客
10-26 233
函数一、定义函数——def1.定义函数2.向函数传递信息3.实参和形参二、传递实参1.位置实参 一、定义函数——def 1.定义函数 #关键字def定义一个函数，括号内也可指出为完成任务而需要的信息 def greet(): #函数体：描述函数做什么，文档字符串用三引号括起 """显示简单的问候语""" #函数体内的代码 print("Hello") #调用这个函数，即使用它 greet() 2.向函数传递信息 3.实参和形参 实参（调用函数时传递给函数的信息）存储在形参中，如上述
【深度学习笔记】深入理解激活函数
学习带来的快乐最持久~
08-08 1627
深入理解——激活函数
【神经网络】学习笔记一——激活函数篇
杨的博客
04-23 1211
本文总结自百度百科：激活函数 激活函数功能 激活函数就是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。 ps：其实不仅仅是简单的映射到输出端，是通过激活函数将非线性特性引入神经网络，不然不加激活函数输入和输出始终是线性的，下边会具体讲到。 什么是激活函数 激活函数对学习人工神经网络，理解复杂和非线性函数来说有十分重要的作用。它们将非线性特性引入到我们的网络中。如下图所示，在神经元中，输入的input通过加权求和后，还被作用了一个函数，这个函数就是激活函数。引入激活函数是为了增
详解激活函数
进击的扛把子
04-10 3041
文章目录0️⃣前言1️⃣Sigmoid2️⃣tanh3️⃣Relu4️⃣Leaky Relu5️⃣Softmax6️⃣总结 0️⃣前言 用了这么久的激活函数，抽空总结一下吧，不然总是忘记，这里介绍常用到的sigmoid，tanh，relu，leaky relu，softmax tips:部分图片来自计算机视觉研究院公众号 1️⃣Sigmoid Sigmoid 函数的图像看起来像一个 S 形曲线。 函数表达式如下： 在什么情况下适合使用 Sigmoid 激活函数呢？ Sigmoid 函数的输出范围是
常用激活函数
MrLittleDog的博客
07-20 2909
文章目录前言为什么需要激活函数什么样的函数可以做激活函数什么样的函数是好的激活函数 前言 今天这篇文章对一些常用激活函数做一下总结吧。在神经网络中激活函数还是很重要的，并且熟悉激活函数对理解别的问题也是很有帮助的。 为什么需要激活函数 从数学上看，神经网络是一个多层复合函数。引入激活函数是为了保证神经网络的非线性。因为线性函数无论怎样复合结果还是线性的，所以对激活函数最基本的要求是非线性的。 假设...
常用的激活函数
weixin_50644076的博客
02-28 1758
激活函数（Activation Function）是一种添加到人工神经网络中的函数。其主要作用是对所有的隐藏层和输出层添加一个非线性的操作，使得神经网络的输出更为复杂、表达能力更强。如果没有激活函数，那么再多层的神经网络也只能处理线性可分问题。
神经网络的激活函数
最新发布
小森的博客
04-26 2849
然而，它也存在梯度消失的问题，这意味着在训练过程中，当输入值非常大或非常小的时候，梯度几乎为零，这会导致权重更新变得非常缓慢，从而影响网络的学习效率。Softmax 直白来说就是将网络输出的 logits 通过 softmax 函数，就映射成为(0,1)的值，而这些值的累和为1（满足概率的性质），那么我们将它理解成概率，选取概率最大（也就是值对应最大的）节点，作为我们的预测目标类别。假设有一个单层的神经网络，其输入为𝑥x，权重为𝑤w，偏置为𝑏b，那么该层的输出𝑦y可以表示为：𝑦=𝑤⋅𝑥+𝑏y=w⋅x+b。
softmax激活函数
thy0000的博客
10-14 7453
Softmax激活函数是一种用于多类别分类问题的激活函数，通常用于神经网络的输出层。它将原始分数（也称为logits）转换为表示概率分布的数值，使得每个类别的概率值都在0和1之间，并且所有类别的概率之和等于1。这使得它适用于多类别分类问题，其中每个样本只能属于一个类别。Softmax函数的数学定义如下：对于给定的原始分数（logits）z = [z1, z2, …, zn]，Softmax函数将这些分数转换为概率分布p = [p1, p2, …, pn]
激活函数_ancientzyb_神经网络激活函数代码_
10-03
在神经网络领域，激活函数是不可或缺的组成部分，它赋予了神经元非线性的能力，使得网络可以处理更复杂的模式和关系。本资源“激活函数_ancientzyb_神经网络激活函数代码_”包含了用于学习和实践的代码，以及相关的...
神经网络的激活函数之sigmoid
01-07
根据每一层前面的激活、权重和偏置，我们要为下一层的每个激活计算一个值，但在将该值发送给下一层之前，要是用激活函数对这个输出进行缩放。 sigmoid函数 sigmoid函数是一个logistic函数，意思是说不管输入什么，...
mish-cuda:PyTorch 的 Mish 激活函数
05-30
Mish-Cuda：自正则化非单调激活函数 这是 Diganta Misra ( ) Mish 激活的 PyTorch CUDA 实现。 安装 它目前作为仅源代码的 PyTorch 扩展分发。 因此，您需要正确设置工具链和 CUDA 编译器才能安装。 工具链- 在cxx_...
神经网络中“端到端”思想
张帅影&RS&DeepLearning
12-17 6154
深度学习的一个重要思想就是“端到端”的学习方式，属表示学习的一种。这是深度学习区别于其他机器学习算法的最重要的一个方面。其他机器学习算法，如特征选择算法、分类器算法、集成学习算法等，均假设样本特征是给定的，并在此基础上设计具体的机器学习算法，在深度学习时代之前，样本表示基本都使用人工特征，人工特征的优劣往往在很大程度上决定了最终的任务精度。这样便催生了一种特殊的机器学习分支——特征工程。在深度学习到来之前，特征工程在数据挖掘的工业界应用及计算机视觉应用都是非常重要和关键的环节。 端到端的学习方式就是在整个学
卷积神经网络应用领域和基本结构
张帅影&RS&DeepLearning
12-17 3583
卷积神经网络基础知识应用领域基本结构前馈运算反馈运算 应用领域 卷积神经网络是一类特殊的人工神经网络，区别于神经网络其他模型(如递归神经网络、Boltzmann机等），它最主要的特点是卷积运算操作(convolution operators)。因此,CNN 在诸多领域的应用特别是图像相关任务上表现优异，例如图像分类、图像语义分割、图像检索、物体检测等计算机视觉的问题，而我自己研究方向也是SAR图像识别与分类，所以跟这个类似。 基本结构 总体来说，卷积神经网络，是一种层次模型，其输入是原始数据，如RGB图像、
目标函数
张帅影&RS&DeepLearning
12-22 3495
目标函数分类任务的目标函数交叉熵损失函数合页损失函数坡道损失函数大间隔交叉熵损失函数中心损失函数总结 深度网络中的目标函数可谓是整个网络模型的“指挥棒”，目标函数也被称为“损失函数”或“代价函数”。通过样本的预测结果与真实标记产生的误差反向传播指导网络参数学习与表示学习。本文将介绍一些目标分类任务中的一些目标函数(因为我的研究方向更偏向于分类，所以有关回归的目标函数我就不在这里进行介绍)。另外，为了防止模型过拟合或达到其他训练目标——比如希望得到稀疏解，正则项通常作为对参数的约束也会加入到目标函数中一起指导
模型集成方法
张帅影&RS&DeepLearning
12-26 2015
模型集成方法数据层面的集成方法测试阶段数据补充“简易集成”法模型层面的集成方法单模型集成多特征融合网络“快照”集成法多模型集成多模型生成策略多模型集成方法小结 集成学习是机器学习中的一类学习算法，指训练多个学习器并将它们组合起来使用的方法。这类算法通常在实践中能取得比单个学习器更好的预测结果，颇有“众人拾柴火焰高”之意。尽管深度网络模型已经拥有强大的预测能力，但集成学习的使用仍能起到“锦上添花”的作用。因此有必要了解并掌握一些深度模型方面的集成方法。一般来讲，深度模型的集成多从“数据层面”和“模型层面”两方
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

毛毛真nice

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值