Pytorch学习之Cifer实战四·激活函数+损失函数+优化器详解

最新推荐文章于 2022-10-07 21:59:10 发布
最新推荐文章于 2022-10-07 21:59:10 发布
阅读量486 收藏 4
点赞数 6
分类专栏： Pytorch学习 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45829462/article/details/106595624
版权

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
最后插个小彩蛋，还是转了陶将博主的一张图：
在这里插入图片描述
下图是各个算法在等高线的表现，它们都从相同的点出发，走不同的路线达到最小值点。可以看到，Adagrad，Adadelta和RMSprop在正确的方向上很快地转移方向，并且快速地收敛，然而Momentum和NAG先被领到一个偏远的地方，然后才确定正确的方向，NAG比momentum率先更正方向。SGD则是缓缓地朝着最小值点前进。

这一章节参考的博文如下：
https://pytorch-cn.readthedocs.io/zh/latest/package_references/torch-nn/#loss-functions
https://blog.csdn.net/qq_41997920/article/details/88693888
https://zhuanlan.zhihu.com/p/77686118
https://zhuanlan.zhihu.com/p/73214810
https://zhuanlan.zhihu.com/p/55150256
以上博文均已点赞原博主，nice！

pogg_
关注
  • 6
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
1.3 机器学习基础-常见函数及优化算法
u010940941的博客
04-11 340
但是，Sigmoid函数在输入值比较大或比较小时，梯度会变得非常小，从而导致梯度消失的问题，因此在较深的网络中很少使用。汉明损失函数是一种多标签分类问题中的损失函数，它衡量模型预测结果与真实结果之间的汉明距离（即模型预测的标签和真实标签不相同的数量）。Swish函数在ReLU函数的基础上加入了sigmoid函数的非线性特性，其表现优于ReLU函数，但是计算代价稍大。优化算法是深度学习训练过程中至关重要的一部分，它的作用是通过调整模型参数来最小化损失函数，从而达到训练模型的目的。
PyTorch——激活函数、损失函数
qq_42873479的博客
02-08 269
PyTorch——激活函数激活函数Loss及其梯度全连接层交叉熵激活函数与GPU加速 激活函数 torch.sigmoid：范围在[0，1]，光滑可导，但在趋近0和1时容易出现梯度离散。 torch.tanh：范围在[-1,1] torch.relu/F.relu：不可导，但计算简单常用 F.softmax Loss及其梯度 MSE： autograd.grad loss.backward Gradient API F.softmax 全连接层 nn.layer 类方法： step 1：
pytorch基础知识十【激活函数、损失函数及其梯度】
weixin_43188487的博客
12-12 622
激活函数、损失函数及其梯度1. 激活函数2. 损失函数loss 1. 激活函数 【1】激活函数简介 【2】sigmoid函数 【3】tanh函数 【3】RELU函数 2. 损失函数loss autograd.grad loss.backward F.softmax
Tensorflow05-激活函数、优化器、过拟合和Dropout
raquelle的记忆宫殿
08-29 1928
1.激活函数 激活函数用于在线性组合之后添加非线性因素。在我看来，相当于扩大不同类数据之间的差距。称之为“激活”，就是让一类数据激活一个条件得到一个显著不同的输出。 常见的激活函数有如下： tf.nn.relu(features, name=None) tf.nn.relu6(features, name=None) tf.nn.crelu(features, name=
优化器、激活函数总结
weixin_43978588的博客
10-07 682
优化器、激活函数总结
Pytorch学习之Cifer实战六·检测
chenxiangrong的博客
06-08 184
损失函数
hey-yahei
03-23 978
原文链接：https://www.yuque.com/yahei/hey-yahei/target_function 目标函数（target function）、损失函数（loss function）、代价函数（cost function）是一个东西~ 目标函数是一个用来衡量模型预测结果与实际结果（通常称为Ground Truth）之间差距的一个函数，在深度学习中，训练模型通常就是指以最小化该差距...
优化策略（四）常用激活函数和loss
Bruce_0712的博客
10-13 1110
激活函数： Sigmoid Tanh ReLU LReLU PReLU ReLU6 Scaled Exponential Linear Unit (SELU) Softplus Swish hard-Swish Mish （一）Sigmoid 优点：平滑、易于求导，sigmoid的输出是（0，1），可以被表示做概率或者用于输入的归一化等等； 缺点： 1. 梯度消失：注意：Sigmoid 函数趋近 0 和 1 的时候变化率会变得平坦，也就是说，Sigmoid 的梯度趋近于
swish,mish
qq_43152949的博客
11-15 3292
swish 2.swish 其中σ(x)是sigmoid函数，swish是光滑而且单调的，swish的导数是： swish的第一和第二导数如图2所示： 无界性避免了饱和，函数饱和区域的梯度很小，训练非常缓慢，因此网络必须小心的初始化才能保持在这些函数的线性状态。此外，有下届也可能是有利的，因为强大的正则化效应。与relu和softplus不同的是， 由于它的非单调性，它为小的负输入产生负输出...
pytorch基础（3）【sigmoid,激活函数，优化器】
qq_61094172的博客
03-27 3625
sigmoid函数 logistic function是一种sigmoid函数 和Linear的区别 sigmoid函数是不需要参数的，所以不用对其初始化（直接调用nn.functional.sigmoid即可）。 另外loss函数从MSE改用交叉熵BCE：尽可能和真实分类贴近。 # -*- coding: utf-8 -*- """ Created on Mon Oct 18 08:35:00 2021 @author: 86493 """ import torch import torch.nn
TensorFlow 激活函数、损失函数、梯度下降
猫ER
11-26 905
本章节主要讲有关神经网络的三个重要部分：激活函数、损失函数、梯度下降。
自门控激活函数Swish
zchang81的博客
10-24 5199
Swish 是一种新型激活函数，公式为： f(x) = x · sigmoid(x)。Swish 具备无上界有下界、平滑、非单调的特性。
pytorch入门：选择合适的激活函数，损失函数，优化器
AI路漫漫
01-21 3190
激活函数，损失函数，优化器 ， 动量算法，AdaGrad ，RMSprop Adam算法
深度学习—激活函数详解（Sigmoid、tanh、ReLU、ReLU6及变体P-R-Leaky、ELU、SELU、Swish、Mish、Maxout、hard-sigmoid、hard-swish）
jsk_learner的博客
10-30 4万+
非线性激活函数详解饱和激活函数Sigmoid函数tanh函数非饱和激活函数Relu（修正线性单元）：ELU（指数线性单元）SELULeaky-Relu / R-ReluP-Relu（参数化修正线性单元）R-Relu（随机纠正线性单元）SwishMaxout关于激活函数统一说明参考链接 因为深度学习模型中其它的层都是线性的函数拟合，即便是用很深的网络去拟合，其还是避免不了线性的特性，无法进行非线性...
深度学习笔记(三)：激活函数和损失函数
热门推荐
Multiangle's Notepad
09-17 12万+
这一部分来探讨下激活函数和损失函数。在之前的logistic和神经网络中，激活函数是sigmoid, 损失函数是平方函数。但是这并不是固定的。事实上，这两部分都有很多其他不错的选项，下面来一一讨论3. 激活函数和损失函数3.1 激活函数关于激活函数，首先要搞清楚的问题是，激活函数是什么，有什么用？不用激活函数可不可以？答案是不可以。激活函数的主要作用是提供网络的非线性建模能力。如果没有激活函数，那么
Pytorch打怪路（一）pytorch进行CIFAR-10分类（1）CIFAR-10数据加载和处理
朝花&夕拾
01-30 6万+
pytorch进行CIFAR-10分类（1）CIFAR-10数据加载和处理 1、写在前面的话 这一篇博文的内容主要来自于pytorch的官方tutorial，然后根据自己的理解把cifar10这个示例讲一遍，权当自己做笔记。因为这个cifar10是官方example，所以适合我们拿来先练手，至少能保证代码的正确性。 之所以第一篇pytorch的博文（其实之前还写了篇如何安装pytorch）...
深度学习（一）单个神经元
xuxuzi1212的博客
08-01 5146
神经网络学习笔记 神经网络是由多个神经元组成，一个神经元由以下几个关键知识点组成： 激活函数 损失函数 梯度下降 单个神经元的网络计算公式： \begin{equation} \label{1}z=\sum_{i=1}^nw_i\times x_i&
pytorch损失函数和优化器
Lavi的专栏
11-26 2987
损失函数和优化器1 损失函数2 优化器 1 损失函数 损失函数可以当作是nn的某一个特殊层，也是nn.Module的子类。但是实际中。然而在实际使用中通常将这些loss function专门提取出来，和主模型互相独立。 score=t.randn(3,2) //batch_size=3,类别是2. label=t.Tensor([1,0,1].long()) ...
Pytorch实现CIFAR-10分类
tuiqdymy的博客
11-30 3995
Pytorch-tutorial CIFAR-10分类准备数据：下载CIFAR-10并归一化定义CNN定义损失函数在training set上训练CNN在test set上测试CNN tensorvision包中自带常用的视觉数据集，其中就包括CIFAR-10。Tutorial中将网络的训练分为了5个步骤： 准备数据：下载CIFAR-10并归一化 定义CNN 定义损失函数 在training s...
深度学习基础：神经网络+激活函数+反向传播+优化算法 理解网络结构，运用激活增强非线性，掌握反向调整参数，优化算法提升性能，赋能
最新发布
03-20
深度学习基础：神经网络+激活函数+反向传播+优化算法 深度学习，作为机器学习的一个重要分支，以其强大的特征学习和表示能力，在图像识别、自然语言处理等领域取得了显著的成果。要深入理解并应用深度学习，掌握其基础知识显得尤为重要。其中，神经网络、激活函数、反向传播和优化算法是深度学习的四大基础要素。 神经网络是深度学习模型的核心。它模仿人脑神经元的连接方式，通过多层网络结构，逐层提取数据的特征。理解神经网络的结构和原理，是构建高效深度学习模型的关键。 激活函数为神经网络引入了非线性因素，使得模型能够学习并表示复杂的数据模式。常用的激活函数包括Sigmoid、ReLU等，它们各自具有不同的特点和适用场景。正确选择和使用激活函数，对于提升模型的性能至关重要。 反向传播是深度学习模型训练的核心算法。它通过计算损失函数对模型参数的梯度，指导模型参数的更新方向。掌握反向传播的原理和实现方法，有助于我们更好地理解深度学习模型的训练过程，并有效地调整模型参数。 优化算法则是用于调整模型参数的具体方法。常见的优化算法包括梯度下降、Adam等。这些算法通过不同的方式调整学习率和参数更新策略，以加速模

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值