pytorch学习笔记（七）——loss及其梯度

最新推荐文章于 2023-12-11 19:27:42 发布
最新推荐文章于 2023-12-11 19:27:42 发布
阅读量4.3k 收藏 5
点赞数
分类专栏： pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43886278/article/details/104199992
版权

pytorch学习笔记（七）——loss及其梯度

目录

典型loss

在这里插入图片描述
典型的loss有两种，第一种是均方差简称MSE。
第二种是用于分类的误差交叉熵，既可以用于二分类问题，也可以用于多分类问题。一般最后的输出要通过softmax函数，第二种loss我们放在之后的博客中讲解。

MSE

（1）MSE定义
在这里插入图片描述
为方便，我们下面讲解MSE不再除以数据个数
（2）MSE求导
在这里插入图片描述
（3）pytorch对MSE自动求导
两种求导方法：
在这里插入图片描述
方法一：autograd.grad，输入loss，和要显示信息的参数，返回参数梯度list

最低0.47元/天 解锁文章
大白话深度学习基础1-梯度&loss&交叉熵&激活函数
weixin_64519687的博客
05-26 1191
① 梯度就是所有参数的偏导向量② 黑色线段为该时刻的梯度在平面的投射③ 视频中运用了三个例子说明，分别在三个不同方向运动1的距离，观察函数变化首先是-1,0方向其次是1，0方向最后是梯度方向，即2,2方向三、梯度求解万能方程因为每进行完一次模型loss求解，如果还没下降到最小，就还要进行梯度下降，即参数更替，而模型中都是矩阵乘法，怎么求这些矩阵的导数并且进行参数更替呢呢？五星级重要☆☆☆☆☆即对任意的矩阵A @ 矩阵B + 矩阵b =矩阵Cdetal_w。
pytorch学习笔记三——transformer
墨夜之枫的博客
12-10 2470
pytorch学习笔记三——transformer预备知识代码学习逻辑模型架构机器翻译任务实现主体部分模型构建Encoder-DecoderEncoder部分残差连接和层归一、位置前馈、多头注意力Decoder部分题外话 预备知识 transformer经典论文：attention is all you need 代码学习逻辑 从整体到局部 关注每一部分数据流向（输入->运算->输出 矩阵维度变换） 模型架构 机器翻译任务 实现 主体部分 import math import to
Loss及其梯度
02-02 1852
Loss及其梯度
loss函数和梯度下降法
andeyeluguo的博客
03-17 1547
2015年百度校招有道机器学习题目 我自己简单写了一点 大概意思是这样，也不知道对不对。
【深度学习】loss与梯度与交叉熵的关系
littlemichelle
12-11 3822
问的GPT3.5。
Pytorch--LOSS及其梯度
weixin_44533869的博客
11-06 1092
LOSS及其梯度 . Mean Squared Error . Cross Entropy Loss . binary . multi-class . +softmax . leave it to Logistic Regression Part autograd.grad： import torch from torch.nn import functional as F # pred = wx + b x = torch.ones(1) w = torch.full([1
pytorch学习笔记（十五）————动量与学习率衰减
01-06
pytorch学习笔记（十五）————动量与学习率衰减目录动量学习率衰减 目录 动量 从形式上看， 动量算法引入了变量 z充当速度角色——它代表参数在参数空间移动的方向和速率。速度被设为负梯度的指数衰减平均。名称...
Pytorch学习笔记7——处理多维特征的输入
qq_50749521的博客
07-12 1114
Pytorch学习笔记7——处理多维特征的输入
pytorch学习笔记（十五）————Early Stop，Dropout
01-20
在PyTorch学习中，两种常见的防止过拟合的技术是Early Stopping和Dropout。这两者都是在训练深度学习模型时提升模型泛化能力的重要手段。 **Early Stopping** 是一种简单而有效的策略，用于避免过拟合。其基本思想...
损失函数 Loss、梯度 grad、参数 ω 和 学习率 lr 之间的关系
热门推荐
拾贝壳
06-17 1万+
举一个最简单的函数 y=x2y = x^2y=x2，梯度为 g(x)=∂y∂x=2xg(x) = \frac{\partial{y}}{\partial{x}} = 2xg(x)=∂x∂y​=2x。设学习率为 lrlrlr，那么 更新一次梯度后为：x1=x0−lr∗g(x0)=x0−lr∗2x0=(1−2∗lr)x0x_1 = x_0 - lr * g(x_0) = x_0 - lr * 2x_0 = (1 - 2 * lr)x_0x1​=x0​−lr∗g(x0​)=x0​−lr∗2x0​=(1−2∗lr
（四）激活函数与loss梯度
我心飞扬
01-29 1136
（四）激活函数与loss梯度 激活函数 科学家对于青蛙的神经元的研究，发现青蛙的神经元有多个输入，中间是一个对输入加权的响应，但是这个响应不是线性的输出，而是基于一个阈值来作为标准，当响应值大于阈值时才会输出，而且输出的大小是固定的。这个计算的函数就是阶梯函数。 上图就是基于青蛙的神经元发明的一个计算机上的模型。它的输入是x1,...,xnx_1,...,x_nx1​,...,xn​，然后经过加权求和，但并不是直接输出，而是经过一个阶梯函数后输出。这里就可以比较好的解释激活函数激活的意思，如果计算的结
PyTorch教程（九）：损失函数与Loss的梯度
vincent_duan的专栏
02-22 8412
均方差Mean Squared Error（MSE） MSE基本形式： loss=∑[y−(xw+b)]2 loss = \sum[y-(xw+b)]^2 loss=∑[y−(xw+b)]2 这里的模型使用非常简单的线性感知机，如果使用其他的网络，则修改为loss=∑[y−f(x;w,b)]2loss = \sum[y-f(x;w,b)]^2loss=∑[y−f(x;w,b)]2 需要注意的是，这里的均方差MSE和L2-norm是有区别的： l2−norm=∑(y1−y2)2 l2-norm=\sqrt{\
深度学习——逻辑回归篇（计算损失函数和梯度）——参考《深度学习实战》
Blackoutdragon的博客
12-29 1466
数据预处理过程 将数据划分成验证集、训练集和测试集 # 采样数据 # 验证集，用来调整超参数 # 数据索引是：49000，49100之间 mask = range(num_training, num_training + num_validation) X_val = X_train[mask] y_val = y_train[mask] # 训练集，用来具体的训练 # 数据索引是：0，49000 mask = range(num_training) X_train = X_train[mask] y_t
PyTorch教程（八）：常见激活函数与Loss的梯度
vincent_duan的专栏
02-22 475
如果不用激活函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合，这种情况就是最原始的感知机。 如果使用的话，激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。 上图就是一个最简单的激活函数，当∑i=0N>0\sum_{i=0}^N>0∑i=0N​>0时节点才会激活。 但是这个激活函数有一个问题是不可导，在∑i=0N=0\sum_{i=0}^N=0∑i=0N​=0处是处于不连续的情况下，因
pytorch学习 激活函数和loss函数及其求导
weixin_42914662的博客
03-20 1314
文章目录1 激活函数1.1 sigmoid函数1.2 tanh函数1.3 Relu整形线性单元1.4softmax2 loss fuction2.1 均方差2.2.1 如何使用pytorch自动求导2.2 交叉cross熵entropy总结 # 前言 本文所有学习内容来自 [pytorch学这个就够了](https://www.bilibili.com/video/BV1Sr4y1N71H?p=29) 1 激活函数 激活函数包括sigmoid函数和tanh函数和relu函数和softmax函数（常与cro
Pytorch 梯度、求导相关
qq_41021141的博客
11-05 533
计算图、叶子节点 和 计算节点 计算图：如下图所示，圆圈中的为数（Tensor或常数），方块中的为操作 叶子节点：不依赖于其他数的数，即没有前驱，如图中的w,x,b 计算节点：依赖于其他数计算得来的数，如图中的y 张量： torch.Tensor和torch.tensor() 区别：Tensor是一个类，所有tensor都是其实例，tensor()是一个函数。使用二者创建的tensor实例的默认dtype不同 import torch x = torch.Tensor([2, 3]) .
pytorch自动求导
qq_41166909的博客
02-13 1371
1. params = torch.tensor([1.0, 0.0], requires_grad=True) 注意到了张量构造函数的 require_grad = True 吗?这个参数告诉PyTorch需要追踪在 params 上进行运算而产生的所有张量。换句话说，任何以 params 为祖先的张量都可以访问从 params 到该张量所调用的函数链。如果这些函数是可微的（大多数PyTorch张量运算都是可微的），则导数的值将自动存储在参数张量的 grad 属性中。 你可以将包含任意数量的张量的
torch当中的MseLoss的reduction参数
weixin_44463711的博客
03-10 2352
MseLoss
MSE的梯度。
akon_wong_hkbu的博客
10-28 2468
李毅pytorch学习笔记
最新发布
01-23
李毅编写的《PyTorch学习笔记》是一份详尽的学习指南，旨在帮助读者掌握深度学习框架PyTorch的核心概念和技术。这份笔记不仅涵盖了基础理论知识，还提供了大量实践案例和代码实现。 #### 主要内容结构 1. **环境...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值