激活函数和loss

最新推荐文章于 2024-02-28 16:15:06 发布
最新推荐文章于 2024-02-28 16:15:06 发布
阅读量1.6k 收藏 2
点赞数
文章标签： 深度学习 pytorch python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45699555/article/details/125494431
版权

1.sigmod函数。公式为1/1+e^-x。起到的作用如图所示：
在这里插入图片描述
2. tanh函数，公式如图
在这里插入图片描述
其实可由sigmoid函数变化而来。
在这里插入图片描述

  1. relu函数
    在这里插入图片描述
    在这里插入图片描述
    优先使用，最常用

  2. mse–loss函数
    在这里插入图片描述
    与2范数略有不同。缺了一个平方。

  3. 首先初始化x和w，也就是输入和权重，使用F.mse_loss()函数（其中F为torch.nn.function）计算出mse均方误差，接着使用torch.autograd.grad()函数来进行梯度的计算。这里出现的第一个错误就是因为没有指定w是一个带梯度的量，可以通过w.requires_grad()来使得w变成带有梯度计算的量，然后运行会出现另一个错误，是因为pytorch是一个动态图的形式，需要再次进行计算更新。当然，这里也可以在一开始指定w为可以计算梯度的tensor。使用w = torch.tensor([.2], required = True)就可以实现。然后通过自带的函数则可计算出梯度。在这里插入图片描述

  4. backword函数也可以计算出梯度，可以调用w.grad,w1.grad来进行调用
    在这里插入图片描述
    在这里插入图片描述

  5. 在这里插入图片描述

  6. 在这里插入图片描述

酸辣土豆丝2333
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
pytorch中的MSELoss
u013341645的博客
08-26 7743
MSELoss的定义： 其中，N是batch_size，如果reduce设置为true，则： 求和运算符计算后，仍会对除以n；如果size_average设置为False后，就会避免除以N； 参数： size_average (bool, optional)：已经弃用，默认loss在对输入batch计算损失后，会求平均值。对于sample中有多个元素时，如果size_average设置为false，loss则是对每个batch进行求和，当reduce设置为False时，该参数就会被设置为Fa
激活函数
Cutepingping的博客
08-15 854
激活函数的作用在神经网络中，激活函数的作用是能够给神经网络加入一些非线性因素，使得神经网络可以更好地解决较为复杂的问题，能够把输入的特征保留并映射下来。 激活函数(Activation Function)的特点： 非线性： 当激活函数是线性的时候，一个两层的神经网络就可以逼近基本上所有的函数了。 可微： 当优化方法是基于梯度的时候，这个性质是必须的。 单调性： 当激活函数是单调的时候，单层网络能够
PyTorch教程（九）：损失函数与Loss的梯度
vincent_duan的专栏
02-22 7541
均方差Mean Squared Error（MSE） MSE基本形式： loss=∑[y−(xw+b)]2 loss = \sum[y-(xw+b)]^2 loss=∑[y−(xw+b)]2 这里的模型使用非常简单的线性感知机，如果使用其他的网络，则修改为loss=∑[y−f(x;w,b)]2loss = \sum[y-f(x;w,b)]^2loss=∑[y−f(x;w,b)]2 需要注意的是，这里的均方差MSE和L2-norm是有区别的： l2−norm=∑(y1−y2)2 l2-norm=\sqrt{\
pytorch教程之损失函数详解——多种定义损失函数的方法
热门推荐
MIss-Y的博客
07-09 3万+
前言：前面的系列文章已经详细介绍了使用torch.nn.Module来实现自己定义的模型、自定义层，本文将继续来说明如何自定义损失函数，需要明确一个观点，不管是定义层还是损失函数，方法有很多，但是通过统一的接口nn.Module是最便于查看的，这也是pytorch的优点之一，模型、层、损失函数的定义具有统一性，都是通过Module类来完成，不像tensorflow那样不规范。具体可以参考前...
【笔记】torch.nn.functional as F F.mse_loss()：参数reduction、size_average、reduce
nyist_yangguang的博客
07-29 1万+
eg1： eg2：
梯度、激活函数 及Loss的梯度
onlywishes的博客
02-10 2423
梯度 梯度是对函数求偏导，在组合，是向量有方向，导数是没有方向的 常见函数的求导 激活函数 Sigmoid / Logistic 将数据压缩在（0,1）之间 sigmoid函数梯度 使用 import torch a = torch.linspace(-100,100,10) #生成10个线性间隔的数 b = torch.sigmoid(a) print(a) print(b) tensor([-100.0000, ...
MSELOSS
最新发布
weixin_46050774的博客
02-28 855
通过最小化均方误差损失，可以使模型的预测结果与真实值之间的差异尽可能小，从而提高模型的预测准确性。均方误差损失函数的计算方式是对预测值与真实值之间的差异进行平方，然后取平均值。具体地说，对于一个样本，假设预测值为 y1，真实值为 y2，则均方误差为 (y1-y2)的平方。MSELoss 是均方误差损失函数（Mean Squared Error Loss）的缩写，它是深度学习中常用的一种损失函数，用于回归问题。其中，n是样本数量， y_i1 是第 i 个样本的真实值，yi2是第 i 个样本的预测值。
loss函数之L1Loss，MSELoss，SmoothL1Loss, HuberLoss
ltochange的博客
06-14 8528
L1Loss 平均绝对误差（MAE），用于回归模型 对于包含NNN个样本的batch数据 D(x,y)D(x, y)D(x,y)，losslossloss计算如下: loss=1N∑n=1Nlnloss=\frac{1}{N} \sum_{n=1}^{N} l_{n}loss=N1​∑n=1N​ln​ 其中，ln=∣xn−yn∣l_{n}=\left|x_{n}-y_{n}\right|ln​=∣xn​−yn​∣ class L1Loss(_Loss): __constants__ = ['redu
激活函数作用
qq_44770199的博客
03-14 1574
激活函数作用： 将权值结果转化成分类结果。常用于 逻辑回归(Logistic Regression)神经网络(Neural Network) 这两处，激活函数都用于计算一个线性函数的结果。 sigmoid函数  ：  在机器学习中可用在分类问题上，如逻辑回归模型分类器，将输出值映射到（0,1） 总和为1，可以从概率角度理解，则输出时选择值最大的（概率最大）作为预测值         Si...
深度学习loss函数优化
11-06
对于二分类问题，逻辑回归和Sigmoid激活函数常与二元交叉熵结合使用；对于多分类问题，Softmax激活函数与多类交叉熵一起使用，确保输出的概率分布符合实际类别分布。 4. Hinge Loss Hinge Loss主要用于支持向量机...
PyTorch 激活函数、损失函数、优化器-谢TS的博客.pdf
07-17
本篇文章将深入探讨激活函数、损失函数以及优化器这三大关键概念，并结合PyTorch API进行介绍。 1. **激活函数**： - 激活函数是神经网络中的核心组件，它们为网络引入非线性，从而使其能够处理非线性可分的数据。...
keras绘制acc和loss曲线图实例
09-16
创建模型时，这里使用了Sequential模型，依次添加了全连接层(Dense)、Dropout层(用于防止过拟合)、激活函数(Activation)以及优化器(SGD, Adam, RMSprop)。模型编译时指定了损失函数和优化策略，以及评估指标。 最后...
三种常见的损失函数和两种常用的激活函数介绍和可视化.docx
10-24
在神经网络的训练中，损失函数（Loss Function）和激活函数（Activation Function）扮演着至关重要的角色。损失函数衡量模型预测结果与真实值之间的差距，而激活函数则引入非线性，使神经网络能够处理复杂的数据关系...
三种常见的损失函数和两种常用的激活函数介绍和可视化.pdf
10-24
在神经网络的训练中，损失函数和激活函数起着至关重要的作用。损失函数衡量了模型预测结果与实际目标之间的差距，而激活函数则为神经网络引入非线性，使其能够解决复杂的模式识别问题。本文主要关注三种常见的损失...
Pytorch-均方差损失函数和交叉熵损失函数
gy77
10-10 4389
均方差损失函数mse_loss()与交叉熵损失函数cross_entropy() 1.均方差损失函数mse_loss() 均方差损失函数是预测数据和原始数据对应点误差的平方和的均值。 \[MSE=\frac{1}{N}( y^`−y)^2 \] N为样本个数，y'为预测数值，y为正确数值。 代码实例： import torch import torch.nn.functional ...
损失函数及回归
m0_52073096的博客
10-31 854
中心损失函数 中心损失主要主要用于减少类内距离，虽然只是减少了累内距离，效果上却可以表现出累内距离小了，类间距离就可以增大的效果。该损失不可以直接使用，需要配合传统的softmax loss一起使用。可以起到比单纯softmax loss更好的分类效果。 ...
Pytorch遇到的坑：MSEloss的输入问题
To be a better man
09-26 1442
Pytorch遇到的坑：为什么模型训练时，L1loss损失无法下降？
激活函数、loss
weixin_45797937的博客
03-05 405
激活函数 import torch a = torch.linspace(-100,100,10) a torch.sigmoid(a)#激活函数 a=torch.linsapce(-1,1,10) torch.tanh(a) torch.relu(a) from torch.nn import function as F F.relu(a) loss import torch x=torch.ones(1) x w=torch.full([1],2) w from torch.nn import
均方误差损失（MSE loss）—最常用的回归（Regression）损失
Winterfell01的博客
09-09 3056
mse loss介绍
F.mse_loss
07-27
F.mse_loss是一个用于计算均方误差损失的函数。在深度学习中，均方误差（mean squared error）是一种常用的损失函数，常用于回归问题中。它的计算方式是将预测值与真实值之间的差值平方后求平均。 F.mse_loss函数通常接受两个参数：预测值和真实值。它会将这两个值作为输入，计算它们之间的差值，并将这个差值平方后求平均。具体的计算公式如下： mse_loss = (1/n) * sum((prediction - target)^2) 其中，n表示样本数量，prediction表示预测值，target表示真实值。 使用均方误差损失函数可以衡量预测结果与真实值之间的差异程度，从而评估模型的性能，并通过优化算法来减小这个差异，提高模型的准确性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

酸辣土豆丝2333

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值