pytorch激活函数

最新推荐文章于 2024-10-09 15:08:32 发布
最新推荐文章于 2024-10-09 15:08:32 发布
阅读量573 收藏 10
点赞数 7
分类专栏： 机器学习 文章标签： pytorch 人工智能 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wyw0000/article/details/136551619
版权
本文介绍了激活函数的起源，重点分析了Sigmoid、Tanh和ReLU三种常见激活函数，包括它们的数学特性、应用场景以及解决梯度问题的优势。Sigmoid用于概率问题，Tanh适用于RNN，ReLU则因不易出现梯度问题而广泛使用。
摘要由CSDN通过智能技术生成

目录

1.激活函数由来

科学家对青蛙的神经元进行研究的时候发现，只有超过一定的阈值青蛙才会有反应，因此不能将多个输入做简单的加权平均，而需要一个阶梯函数也就是激活函数，激活的概念也就是

在这里插入图片描述
单层感知机阶梯函数不连续，因此不可导
计算机神经元模型
在这里插入图片描述

2. 常见激活函数

2.1 Sigmoid

为了解决阶梯函数不可导的问题，科学家发明了sigmoid激活函数，sigmoid的值范围(0,1)
sigmoid常用于0~1的概率问题以及颜色RGB值的表示
sigmoid函数当x值趋于正无穷时，函数值接近1导数为0使得梯度一直得不到更新，从而产生梯度弥散的问题
在这里插入图片描述
梯度推导
在这里插入图片描述

在这里插入图片描述

2.2 Tanh

Tanh多用于循环神经网络RNN，Tanh值的范围为[-1,1]
在这里插入图片描述

梯度推导
在这里插入图片描述
在这里插入图片描述

2.3 relu

relu函数是目前用的最多的激活函数，当x<0时导数为0，x>0时导数为1，函数值x<0时为0，x>0时线性变换。
relu梯度在x>0时是1，使得梯度计算时，梯度不会放大也不会缩小，因此不容易出现梯度弥散和梯度爆炸的情况
在这里插入图片描述
在这里插入图片描述

wyw0000
关注
专栏目录
pytorch 激活函数
jacke121的专栏
10-14 3472
inplace=True会x把输入前的删掉了，都变成了输入后的， 没有inplace，输入还是输入，输出是新的了。 import torch import torch.nn as nn #inplace为True，将会改变输入的数据 ，否则不会改变原输入，只会产生新的输出 m = nn.LeakyReLU(inplace=True) input = torch.randn(7) p...
Pytorch基础（六）——激活函数
baidu_35536188的博客
12-01 2578
一、概念
PyTorch激活函数详解
DeepViewInsight的博客
09-15 865
激活函数是神经网络中的关键组件之一，它引入了非线性性质，使神经网络能够学习复杂的函数关系。在PyTorch中，有多种常见的激活函数可供选择，每种都有不同的特点。接下来，让我们一起深入探讨这些激活函数。
Pytorch 自学笔记（二）：Pytorch中常用的激活函数与损失函数探究
duxiaodong1122的博客
07-02 4392
Pytorch 自学笔记系列的第二篇针。对Pytorch中常用的激活函数与损失函数进行一个简单的介绍
Pytorch 激活函数
m0_62103995的博客
10-24 284
Pytorch 激活函数
简单易懂的PyTorch激活函数大全详解
CDBmax的博客
01-04 2884
本文综合概述了PyTorch框架中一系列关键的激活函数，从经典的ReLU到前沿的GELU和Mish，探讨了它们的数学定义、特点及实际应用。通过各函数对输入数据的不同处理方式，文章揭示了如何通过激活函数为神经网络模型注入非线性动力，以及它们在深度学习中的核心作用。从Sigmoid的平滑概率转换到GLU的复杂数据门控，这些激活函数是构建高效、稳健机器学习模型的基石，同时它们的多样性和特定应用场景为深度学习的进步提供了广阔空间。
2-pytorch激活函数
smalltorch的博客
04-04 297
激活函数作用就是将原来线性的变成非线性，让神经网络变的更加强大。本文会介绍神经网络中的常用激活函数，以及其在pytorch里面的接口。关于回归、分类问题是不同类型的激活函数，具体问题具体选择。另外对于前馈神经网络隐藏层一两层激活函数选择应该是任意一个都大概率能达到满意的非线性效果，但是如果超过了2层更多层，就需要思考一下用那个激活函数了，如果选的不好，极大可能导致梯度爆炸或者梯度消失这些头疼的问题在反向传播过程中。
Pytorch激活函数解析
weixin_38881440的博客
03-28 939
本文根据pytorch里面的源码解析各个激活函数，各个激活函数的python接口定义位于包torch.nn.modules中的activation.py，在包modules的初始化__init__.py中关于激活函数的导入： 1.非线性激活函数的必要性 1.1.加入非线性因素： ​ 如下图所示，是神经元的数学模拟，如果在神经元之间，没有使用非线性激活函数或者使用恒等激活函数，那么神经网络仅仅是将输入线性组合再输出。在这种情况下，多层神经网络与仅仅只有一层隐藏层的神经网络没有任何区别。因此，要想多个隐藏
PyTorch 激活函数、损失函数、优化器-谢TS的博客.pdf
07-17
本篇文章将深入探讨激活函数、损失函数以及优化器这三大关键概念，并结合PyTorch API进行介绍。 1. **激活函数**： - 激活函数是神经网络中的核心组件，它们为网络引入非线性，从而使其能够处理非线性可分的数据。...
PyTorch激活函数
qq_42504905的博客
05-15 357
1.什么是激活函数 作用就是：增加模型非线性，使之更好的进行分类与回归问题 在所有的隐层和输出层加一个激活函数，这里激活函数我们就用Sigmoid函数，如图6所示。这样y输出的就是一个非线性函数了，y的输出更复杂，有了这样的非线性激活函数以后，神经网络的表达能力更加强大了。 总结：激活函数是用来加入非线性因素的，提高神经网络对模型的表达能力，解决线性模型所不能解决的问题。要知道大部分问题是非线性问题，因此激活函数是必不可少的。 2.常见的激活函数 2.1 sigmoid激活函数 代码： def sig
CUDA、Pytorch、Pycharm的安装与配置
Edward2022的博客
10-06 717
CUDA、Pytorch、Pycharm的安装与配置
【pytorch】张量求导3
weixin_45207619的博客
10-05 597
第二是loss的计算，此处我采用的是MSELoss，也即俺元素作差的平方和求平均。注意此处的bias是一个长度为2的行向量，不要被ChatGPT的排版迷惑了。然后开始反向传播，主要涉及到标量对张量的微分，可以看笔者的前两篇文章。首先是output，这是正向传播的结果，也会作为反向传播的基础。请大家关注这个结果，后文的讨论也会以此为基础。再接上文，补一下作者未补完的矩阵运算的坑。大家可以验算，结果确实为0.7643。
PyTorch单机多卡训练（无废话）
最新发布
qq_44017116的博客
10-09 709
目前大家基本都在使用DistributedDataParallel（简称DDP）用来训练，该方法主要用于分布式训练，但也可以用在单机多卡。
查看PyTorch的GPU使用情况的工具
weixin_43254181的博客
10-08 1238
(caching memory allocator) 来加快内存分配速度。这允许快速释放内存而无需设备同步。然而，由分配器管理的未使用内存在nvidia-smi中仍会显示为已使用。的功能，这可以帮助你理解代码产生的底层分配模式。对于更高级的用户，我们提供了通过。缓存分配器的行为可以通过环境变量。
Windows Ubuntu下搭建深度学习Pytorch训练框架与转换环境TensorRT
没有余地 EliasJie
10-05 1196
仅供本人查阅
YOLOv5改进——添加SimAM注意力机制
2302_80099075的博客
10-09 505
这样可以使注意力机制看到整个backbone部分的特征图，将具有全局视野，类似于一个小的transformer结构。注意：很多改进教程都是将代码直接复制到common.py文件，如果改进机制多了容易造成混乱。在models文件夹下新建modules文件夹，在modules文件夹下新建一个py文件。这里为simam.py。在models文件夹下，复制yolov5s.yaml文件，粘贴并重命名为yolov5s-simam.yaml。运行yolo.py，出现刚刚加入的SimAM注意力机制，说明加入成功。
深度学习07：PyTorch 中常见的 Tensor 创建方式与示例
2301_80744520的博客
10-05 549
通过本篇博客，你已经学会了 PyTorch 中常见的几种 Tensor 创建方式。它们在深度学习模型的构建、数据处理以及矩阵运算中都扮演着至关重要的角色。无论是初始化权重、生成随机数据，还是定义特定类型的 Tensor，都可以用这些方法高效实现。希望这篇博客能帮助你在实际项目中更好地应用 PyTorch！
基于Keras的U-Net模型在图像分割与计数中的应用
深度学习实战训练营，一起交流探索深度学习
10-04 1677
网络结构优化：项目基于经典的U-Net模型进行改进，采用了更深的网络层次结构，使模型能够在多尺度上捕捉到图像中的细节信息。特别是针对医学图像分割，项目通过增加卷积层数和引入Dropout层来增强模型的特征提取能力，并有效防止过拟合，从而提高模型在训练数据较少情况下的表现。项目中采用了he_normal初始化器和relu激活函数组合，使得网络在训练时能够更快地收敛，降低梯度消失的风险。自定义数据增强策略：在中实现了一个自定义的图像增强类。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值