pytorch学习笔记（七）——激活函数

最新推荐文章于 2024-04-20 18:33:04 发布
最新推荐文章于 2024-04-20 18:33:04 发布
阅读量938 收藏 2
点赞数
分类专栏： pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43886278/article/details/104198828
版权

pytorch学习笔记（七）——激活函数

目录

激活函数的由来

在这里插入图片描述
1959年，生物科学家研究青蛙神经元的时候发现，青蛙的神经元有多个输入，神经元中间有一个多输入加权后的相应，当该响应小于阈值时没有输出，当该响应大于阈值是会有一个固定的输出。当时的计算机科学家借鉴于此发明了一个计算机模型，如下图：在这里插入图片描述
假设z为输入经过加权后的值，z小于阈值输出0，z大于阈值输出1。（阶梯函数）
为了解决阶梯函数在阶梯处不可导的缺点，计算机学家们引入了sigmoid函数

sigmoid激活函数

（1）sigmoid定义
在这里插入图片描述
从图中可以看出sigmoid函数处处可导，在x趋于负无穷时，y趋于0，导数趋于0：在x趋于正无穷时，y趋于1，导数趋于0。
（2）sigmoid求导

最低0.47元/天 解锁文章
南风渐起
关注
专栏目录
pytorch学习笔记八：nn网络层——激活函数层
Dear_learner的博客
02-17 3324
结合pytorch中的激活函数，来总结一下深度学习中的激活函数 一、激活函数的概念和作用 概念：在神经网络中每个神经元节点接受上一层神经元的输出作为本神经元的输入，并将输出值传入到下一层，输入层神经元节点会将输入属性值直接传递给下一层（隐藏层或输出层）。在多层神经网络中，上层节点的输出和下层节点的输入之间具有一个函数关系，这个函数称为激活函数（又称激励函数）。 对激活函数的理解：不使用激活函数的话，神经网络的每层都只是做线性变换，多层叠加后还是线性变换。因为线性模型的表达能力通常不够，所以引入激活函数，加入
Pytorch中的激活函数
01-20
介绍神经网络的时候已经说到，神经元会对化学物质的刺激进行，当达到一定程度的时候，神经元才会兴奋，并向其他神经元发送信息。神经网络中的激活函数就是用来判断我们所计算的信息是否达到了往后面传输的条件。 为什么激活函数都是非线性的 因为如果使用线性的激活函数，那么input跟output之间的关系始终为线性的，这样完全可以不使用网络结构，直接使用线性组合即可。 所以需要激活函数来引入非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中，增加了神经网络模型泛化的特性。 一般只有在输出层有极小的可能性使用线性激活函数，在隐含层都使用非线性激活函数. 常见的激活函
PyTorch——激活函数
beilizhang的博客
03-15 633
参考链接 https://mp.weixin.qq.com/s/irha7DB2l0GfdAJdsPXlMA https://pytorch.org/docs/stable/nn.html#non-linear-activations-weighted-sum-nonlinearity https://pytorch.org/docs/stable/nn.html#non-linear-activations-other https://zhuanlan.zhihu.com/p/88429934?from
pytorch学习笔记7
m0_61544418的博客
10-18 207
pytorch学习笔记7
Pytorch激活函数最全汇总
ting_qifengl的博客
04-28 8653
为了更清晰地学习Pytorch中的激活函数，并对比它们之间的不同，这里对最新版本的Pytorch中的激活函数进行了汇总，主要介绍激活函数的公式、图像以及使用方法，具体细节可查看官方文档。
PyTorch----激活函数
bjsyc123456的博客
05-21 3798
什么是激活函数？ 在神经网络中我们经常使用线性运算来解决分类问题，这就需要激活函数来解决非线性问题 传统的全连接网络是让数据不断的通过线性函数和激活函数层，从而得到最终的预测结果。 Sigmoid函数 sigmoid函数是最经典、最早使用的激活函数，公式如下： ρ=11+e−z\rho = \frac{1}{1+ e^{-z}}ρ=1+e−z1​ 激活函数Sigmoid在定义域内处处可以求导，当输入一个较小或者较大的数据时，该函数的导数会变得很小，梯度趋近于0。 如果每次梯度值都减小，神
基于Pytorch的深度学习 —— 非线性激活函数
最新发布
m0_75232472的博客
04-20 925
2020年在匆匆忙忙慌慌乱乱中就这么度过了，我们迎来了新一年，互联网的发展如此之快，技术日新月异，更新迭代成为了这个时代的代名词，坚持下来的技术体系会越来越健壮，JVM作为如今是跳槽大厂必备的技能，如果你还没掌握，更别提之后更新的新技术了。更多JVM面试整理：《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！必备的技能，如果你还没掌握，更别提之后更新的新技术了。[外链图片转存中…(img-Wpl2ktrw-1713609156847)]
PyTorch学习笔记——（3）深度学习中的激活函数总结以及pytorch实现
Ma Sizhou
06-30 1605
目录一、简介二、常用激活函数1、ReLU2、Sigmoid3、Tanh4、LeakyReLU5、PReLU6、RReLU7、ELU三、参考文献 一、简介 在神经网络中，激活函数决定一个节点从一组给定输入的输出，而非线性激活函数允许网络复制复杂的非线性行为。由于大多数神经网络使用某种形式的梯度下降进行优化，激活函数必须是可微的(或者至少是几乎完全可微的)。此外，复杂的激活函数可能会产生关于渐变消失和爆炸的问题。因此，神经网络倾向于使用一些选定的激活函数(identity, sigmoid, ReLU和它们的变
PyTorch学习笔记06——优化模型参数
weixin_53968757的博客
04-13 647
PyTorch学习笔记06——优化模型参数
PyTorch中常用的激活函数的方法示例
09-18
主要介绍了PyTorch中常用的激活函数的方法示例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
pytorch方法测试——激活函数(ReLU)详解
12-23
测试代码： import torch import torch.nn as nn #inplace为True，将会改变输入的数据 ，否则不会改变原输入，只会产生新的输出 m = nn.ReLU(inplace=True) input = torch.randn(7) print("输入处理前图片：") print(input) output = m(input) print("ReLU输出：") print(output) print("输出的尺度：") print(output.size()) print("输入处理后图片：") print(input) 输出为： 输入处理前图片： t
Pytorch激活函数
Nick
03-16 920
1 softmax 例子： a = [[1,2,3],[4,5,6]] b = softmax(a,dim=0) 这个dim=0是对行操作，dim=1 是对列进行操作。 当dim=0，b 里面的第一个值= e的1次方/ (e的1次方+e的4次方) 当dim=1，b里面的第一个值=e的1次方/ (e的1次方+e的2次方+e的3次方) 2 log_softmax 对softmax激活函数得到的所有的值 分别使用再求一次log值，这里的log是以e为底。 ...
pytorch学习（四）——激活函数
ifhuke的博客
10-24 2307
pytorch 中的激活函数介绍
PyTorch-Activation激活函数
samylee的博客
05-29 2388
PyTorch-Activation激活函数 硬件：NVIDIA-GTX1080 软件：Windows7、python3.6.5、pytorch-gpu-0.4.1 一、基础知识 1、激活函数作用：神经网络可以描述非线性问题 2、relu、sigmoid、tanh、softplus 二、代码展示 import torch import torch.nn.functional as ...
pytorch学习笔记7-神经网络
ThreeS_tones的博客
01-30 317
神经网络，卷积操作，卷积层，最大池化，非线性激活，线性层，pytorch神经网络结构。
PyTorch激活函数详解
DeepViewInsight的博客
09-15 854
激活函数是神经网络中的关键组件之一，它引入了非线性性质，使神经网络能够学习复杂的函数关系。在PyTorch中，有多种常见的激活函数可供选择，每种都有不同的特点。接下来，让我们一起深入探讨这些激活函数。
pytorch中的激活函数详解
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
11-26 1808
激活函数是神经网络中引入的非线性函数，用于捕获数据中的复杂关系。它来自动物界的灵感，动物的神经元会接受来自对它有作用的其他神经元的信号，当然这些信号对该神经元的作用大小不同（即具有不同的权重）。
注意力层后需要经过激活函数吗
07-28
注意力层后是否需要经过激活函数取决于具体的应用场景和网络结构。在某些情况下，注意力层后的输出可以直接作为最终的输出，而无需经过激活函数。这是因为注意力机制本身已经对输入进行了加权处理，可以直接提供有用的信息。然而，在其他情况下，特别是当注意力层的输出需要经过进一步的处理时，可以选择适当的激活函数。 常用的激活函数包括Sigmoid、Tanh和ReLU等。Sigmoid和Tanh是饱和激活函数，其梯度取值范围分别是(0,1)和(-1,1)。而ReLU及其变体是非饱和激活函数，能够避免梯度消失和梯度爆炸的问题，并且在近年来得到了广泛的应用。此外，还有一些其他的激活函数，如ELU和SELU，它们具有自归一化的特性，能够保证训练过程中梯度不会爆炸或消失。 因此，根据具体的需求和网络结构，可以选择是否在注意力层后使用激活函数。如果需要进一步处理输出，可以选择适当的激活函数来增强网络的表达能力和性能。 #### 引用[.reference_title] - *1* [注意力机制+ReLU激活函数：自适应参数化ReLU激活函数](https://blog.csdn.net/shisuzanian/article/details/104852586)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* *3* [pytorch学习笔记八：nn网络层——激活函数层](https://blog.csdn.net/Dear_learner/article/details/122991448)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值