PyTorch深度学习实战（4）——常用激活函数和损失函数详解

已于 2025-03-25 19:38:50 修改
阅读量7.3k 收藏 32
点赞数 16
分类专栏： PyTorch深度学习从入门到项目实战 文章标签： 深度学习 pytorch python
于 2023-06-23 08:06:46 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LOVEmy134611/article/details/130674747
版权
本文详细介绍了深度学习中常用的激活函数，如Sigmoid、Tanh、ReLU、线性和Softmax，以及它们的优缺点。此外，还探讨了常见的损失函数，包括均方误差、平均绝对误差和分类交叉熵，以及如何实现自定义损失函数。这些知识点对于理解和优化深度学习模型至关重要。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

PyTorch深度学习实战（4）——常用激活函数和损失函数详解

0. 前言

激活函数和损失函数是深度学习模型中重要组成部分，激活函数和损失函数的选择很大程度上决定了深度神经网络的性能和精度，需要根据具体问题的特点和数据分布等因素进行选择。在本节中，将介绍深度学习中常见的激活函数和损失函数，并说明不同函数的常见应用场景。

1. 常用激活函数

使用激活函数可以实现网络的高度非线性，这对于建模输入和输出之间的复杂关系非常关键。如果没有非线性激活函数，那么该网络将仅仅能够表达简单的线性映射，即便有再多的隐藏层，其整个网络跟单层神经网络也是等价的，只有加入了非线性激活函数之后，深度神经网络才具备了令人惊异的非线性映射学习能力，可以在网络中的多个层中应用激活函数。

1.1 Sigmoid 激活函数

sigmoid 是使用范围最广的一类激活函数，其取值范围为 [0, 1]，它可以将一个实数映射到 [0, 1] 的区间，可以将其用于二分类问题。

Sigmoid 函数公式定义如下所示：

了解本专栏 订阅专栏 解锁全文
PyTorch深度学习实战（1）——神经网络与模型训练过程详解
盼小辉丶的博客
05-28 8万+
在本节中，我们将了解传统机器学习与人工神经网络间的差异，并了解如何在实现前向传播之前连接网络的各个层，以计算与网络当前权重对应的损失值；实现反向传播以优化权重达到最小化损失值的目标。并将实现网络的所有关键组成——前向传播、激活函数、损失函数、链式法则和梯度下降，从零开始构建并训练了一个简单的神经网络。
PyTorch深度学习实战（3）——使用PyTorch构建神经网络
热门推荐
盼小辉丶的博客
06-13 7万+
PyTorch 是一个用于构建深度神经网络的库，具有灵活性和可扩展性，可以轻松自定义模型。在本节中，我们将使用 PyTorch 库构建神经网络，利用张量对象操作和梯度值计算更新网络权重，并利用 Sequential 类简化网络构建过程，最后还介绍了如何使用 save、load 方法保存和加载模型，以节省模型训练时间。
深度学习pytorch——激活函数&损失函数（持续更新）
2201_76139143的博客
03-22 2553
论生物神经元与神经网络中的神经元联系——为什么使用激活函数？我们将生物体中的神经元与神经网络中的神经元共同分析。从下图可以看出神经网络中的神经元与生物体中的神经元有很多相似之处，由于只有刺激达到一定的程度人体才可以感受到刺激，并且人体对刺激做出的响应是有限的，所以在输出之前应该经过激活函数。这个激活函数可以将原来发散的数据变成收敛的数据。什么是梯度？函数在某一点的梯度是这样一个向量，它的方向与的方向一致，而它的模为方向。
pytorch学习（四）——激活函数
ifhuke的博客
10-24 2442
pytorch 中的激活函数介绍
pytorch中损失函数nn.CrossEntropyLoss与激活函数softmax的关系
Andrew_SJ的博客
12-08 1874
在多分类单标签任务中，常使用CrossEntropyLoss作为损失函数，而使用softmax作为对应的最后一层的激活函数。 在Pytorch中，nn.CrossEntropyLoss中已经实现了softmax功能，因此在分类任务的最后一层fc后不需要加入softmax激活函数。因为在计算损失函数时，nn.CrossEntropyLoss函数会自动先将模型输出作一个softmax计算，再与ground truth作损失比较。 参考： https://blog.csdn.net/weixin_30727835
PyTorch——激活函数、损失函数
qq_42873479的博客
02-08 399
PyTorch——激活函数激活函数Loss及其梯度全连接层交叉熵激活函数与GPU加速 激活函数 torch.sigmoid：范围在[0，1]，光滑可导，但在趋近0和1时容易出现梯度离散。 torch.tanh：范围在[-1,1] torch.relu/F.relu：不可导，但计算简单常用 F.softmax Loss及其梯度 MSE： autograd.grad loss.backward Gradient API F.softmax 全连接层 nn.layer 类方法： step 1：
PyTorch深度学习实战（2）——PyTorch基础
盼小辉丶的博客
06-04 5万+
PyTorch 是广泛应用于机器学习领域中的强大开源框架，因其易用性和高效性备受青睐。在本节中，将介绍使用 PyTorch 构建神经网络的基础知识。首先了解 PyTorch 的核心数据类型——张量对象。然后，我们将深入研究用于张量对象的各种操作。PyTorch 提供了许多帮助构建神经网络的高级方法及组件，并提供了利用 GPU 更快地训练神经网络的张量对象。
激活函数以及损失函数
ox180x的博客
10-05 307
sigmoid sigmoid函数和tanh函数是研究早期被广泛使用的2种激活函数。两者都为S型饱和函数。 当sigmoid 函数输入的值趋于正无穷或负无穷时，梯度会趋近零，从而发生梯度弥散现象。 sigmoid函数的输出恒为正值，不是以零为中心的，这会导致权值更新时只能朝一个方向更新，从而影响收敛速度。 tanh激活函数是sigmoid 函数的改进版，...
(四)pytorch中激活函数
qq_23123181的博客
01-05 475
2）relu单元在训练中将不可逆转的死亡，导致数据多样化的丢失。如果学习率设置的太高，可能会发现网络中40%的神经元都会死掉（在整个训练集中这些神经元都不会被激活）。在神经网络中，隐含层的激活函数，最好选择Relu。1）relu的导数在大于0时，梯度为常数，不会导致梯度弥散。在小于0时导数为0，当神经元激活值进入小于0，梯度为0，也就是说，这个神经元不会被训练，即稀疏性。Relu是将所有的负值都为零，相反，leakyRelu。绿色曲线为原函数，红色曲线为导函数。
【PyTorch学习笔记】8：激活函数,损失函数,使用PyTorch求导
大桔骑士的学习笔记
03-20 2830
激活函数 在PyTorch的老版本里这些激活函数在torch.nn.functional下，现在大多已经改到了torch下。 Sigmoid 数据将被映射到0到1之间。 f(x)=σ(x)=11+e−xf(x)=\sigma (x)=\frac{1}{1+e^{-x}}f(x)=σ(x)=1+e−x1​ import torch a = torch.linspace(-100, 100, 10)...
【深度学习】激活函数和损失函数
冷芝士鸭的学习笔记
03-26 8567
4.3 激活函数 作用： 当神经网络中上一层的输出直接作为下一层的输入时，每层之间的关系是线性关系，即相当于f(x)=x，此时神经网络的拟合能力较弱。为了使得神经网络有更好的拟合能力，在每一层网络之间加入了激活函数（非线性）来使得不同层网络之间的关系变为非线性，从而使网络有更好的拟合能力。 常用的激活函数有Sigmoid、tanh，ReLU、leaky ReLU等。除此以外还有线性激活函数如Linear。 激活函数的选取十分重要，不同的激活函数有不同的特点。选取不当可能会导致梯度变得非常小，就是通常所说的
Pytorch激活函数最全汇总
ting_qifengl的博客
04-28 1万+
为了更清晰地学习Pytorch中的激活函数，并对比它们之间的不同，这里对最新版本的Pytorch中的激活函数进行了汇总，主要介绍激活函数的公式、图像以及使用方法，具体细节可查看官方文档。
【深入了解pytorch】使用PyTorch构建神经网络模型：定义结构、选择激活函数和损失函数
Science prince的博客
07-20 405
在PyTorch中，可以通过创建一个继承自nn.Module的类来定义网络结构。这个类通常包含网络的各个层和操作。
pytorch入门：选择合适的激活函数，损失函数，优化器
AI路漫漫
01-21 3717
激活函数，损失函数，优化器 ， 动量算法，AdaGrad ，RMSprop Adam算法
Pytorch softmax激活函数
洪流之源
07-29 2万+
可以用于将多个输出值转换成多个概率值，使每个值都符合概率的定义，范围在[0, 1]，且概率相加和为1，非常适合多分类问题。Softmax往往用在最后对输出值y的处理上。它会将原来大的值相对缩放得更大，而原来很小的值压缩到比较密集的空间，这从指数函数图像就可以理解。 import torch from torch.nn import functional as F y = torch.ra...
Torch激活函数，优化器，损失函数（二）
weixin_50920579的博客
08-21 1359
pytorch
深入理解 PyTorch 激活函数：从基础到高效实用技巧（4）
CDBmax的博客
01-16 1600
这个公式表示输入值的指数减去其负指数，然后除以这两个指数的和。结果是一个在 -1 和 1 之间的输出，提供了一个平滑的非线性变换。这个公式表示计算输入值的负指数，加 1 后取其倒数。结果是一个在 0 和 1 之间的输出，提供了平滑的非线性变换。如果x ≤ -3，则。如果x ≥ +3，则。否则，。这个公式将输入值分为三个区域：小于等于 -3 的区域输出为 0，大于等于 +3 的区域输出为 1，介于这两者之间的区域输出为。其中σ(x)是逻辑 Sigmoid 函数。这意味着每个输入值x。
【Pytorch】Softmax激活函数
宫瑞阳的博客
03-03 3038
Softmax激活函数
损失loss上万
最新发布
03-24
### 导致损失函数 Loss 上万的原因 在深度学习训练过程中，损失函数值达到上万可能由多种原因引起。以下是可能导致该现象的主要因素： #### 1. 数据预处理不充分 如果输入数据未经过标准化或归一化处理，则模型可能会接收到数值范围过大的特征向量。这会使得权重更新不稳定，从而导致梯度爆炸或损失值过高[^1]。 #### 2. 学习率设置不合理 当学习率过大时，优化算法会在参数空间中跳跃前进，无法收敛到最优解附近。这种情况下，每次迭代都会使损失值进一步增大，最终表现为Loss上万的现象[^4]。 #### 3. 初始化方式错误 神经网络中的权重视图初始化非常重要。不良的初始条件会使激活层输出接近饱和区域（如ReLU为负数部分），进而阻碍反向传播过程有效调整这些权重。这种情况被称为“死区”或者“消失/爆炸梯度”，它同样可以造成巨大的误差累积[^5]。 #### 解决方法 针对上述提到的各种可能性，我们可以采取以下措施来降低Loss并改善模型性能: - **适当调节超参**: 调整合适大小的学习速率以及正则项系数λ, 防止因为步子迈得太大而错过全局最小点; 同时加入动量机制帮助平滑路径减少震荡. - **改进数据质量控制流程**: 对原始样本执行必要的清理工作比如去除异常值、填补缺失值得操作之后再做缩放转换成适合喂给DNN的形式. - **选用更稳健的Optimizer**: Adam optimizer因其自适应特性成为目前最常用的选择之一, 它能够自动校准每一轮次内的step size变化趋势, 达到更快更好效果的同时还具备较强的鲁棒性面对各种复杂场景挑战. 另外值得注意的是，在某些特定应用场景下(例如图像分类), 如果类别间存在严重不平衡状况也可能间接影响到最后得到的整体objective value表现不佳的情况发生。因此建议结合具体业务需求综合考量各项因子相互作用关系来进行针对性调优尝试直至满足预期目标为止。 ```python import torch.optim as optim # Example of setting up an Adam Optimizer with a smaller learning rate optimizer = optim.Adam(model.parameters(), lr=0.001) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

盼小辉丶

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值