pytorch学习笔记（六）--典型函数（普通函数、激活函数、损失函数）梯度

最新推荐文章于 2023-07-18 11:37:38 发布
最新推荐文章于 2023-07-18 11:37:38 发布
阅读量362 收藏 1
点赞数
分类专栏： pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Thera_qing/article/details/96350905
版权

分类

主要有导数（标量）、偏微分（特殊的导数，标量）、梯度（由偏微分组成的向量）三类

极小值求解

在这里插入图片描述
影响因素：

  • 初始状态

  • 学习率，影响收敛速度和精度

  • 动量，逃离局部最小值

常见函数的梯度

在这里插入图片描述

若f（x）=g（x）/h(x)
则f'(x)=[g'(x)h(x)-h'(x)g(x)]/[h(x)]^2

激活函数及其梯度

** sigmoid/logistic**
在这里插入图片描述
Sigmoid函数的梯度求解
在这里插入图片描述
单层感知器损失函数的梯度
在这里插入图片描述
对应的梯度求解步骤如下：
在这里插入图片描述
在这里插入图片描述
Tanh函数
在这里插入图片描述
Tanh函数的梯度推导
在这里插入图片描述
多层感知器的损失函数梯度求解
在这里插入图片描述
多层感知器的损失函数求解步骤：
在这里插入图片描述

在这里插入图片描述

ReLU函数
在这里插入图片描述

损失函数的梯度

MSE均方损失函数
在这里插入图片描述
MSE是L2范数的平方
mse = torch.norm(y - pred, 2).pow(2)
梯度求解
在这里插入图片描述
SoftMax函数
在这里插入图片描述
梯度求解
当 i = j时：
在这里插入图片描述
当 i ≠ j 时
在这里插入图片描述

ThetaQing
关注
专栏目录
Python机器学习算法实践——梯度上升算法
WJWFighting的博客
08-20 1830
一：理论部分 给定一个样本集，每个样本点有两个维度值（X1，X2）和一个类别值，类别只有两类，我们以0和1代表。数据如下所示： 样本 X1 X2 类别 1 -1.4 4.7 1 2 -2.5 ...
pytorch--梯度相关
weixin_47037146的博客
11-03 553
什么是梯度 我也不知道什么是梯度。从中学学的倒数说起，倒数反应了函数沿某个方向的变化率。然后就到了偏微分，偏微分是限定沿给定方向的变化率，而梯度就是函数关于所有自变量偏微分组成的向量。梯度的方向反应了函数上升或下降的方向，而梯度的大小反映了下降或上升的快慢。 梯度下降：θi∗=θi−eps∗∂y∂θi\theta_{i}^{*}=\theta_{i}-eps*\frac{\partial y}{\partial \theta_{i}}θi∗​=θi​−eps∗∂θi​∂y​,梯度下降时会遇到局部最小值的问题
Pytorch自动求梯度
最新发布
walkertc的博客
07-18 508
PyTorch提供了自动求导（Automatic Differentiation）功能，允许您自动计算张量的梯度。这使得在神经网络训练中特别方便，因为您无需手动推导梯度表达式。这样在后续计算当中，pytorch会自动追踪与x相关的操作 以便后续计算梯度。此时，访问输入的grad属性即可。
【pytorch】MNIST 梯度上升法求使得某类概率最大的样本
x66ccff
11-21 700
目标：用 MNIST 训练一个 CNN 模型，然后用梯度上升法生成一张图片，使得模型对这张图片的预测结果为 8。
Python-通过基于梯度的深度网络可视化解释的Pytorch实现
08-12
通过基于梯度的深度网络可视化解释的Pytorch实现
Pytorch学习笔记----DRL
weixin_43718287的博客
04-28 477
Pytorch--Advanced CNNConvolutional Neural NetworkInception Module1X1 convolutionImplementation of Inception ModuleDeep Residual LearningImplementation of simple Residual NetworkReference Convolutional Neural Network Inception Module 1X1 convolution 1x1卷积
PyTorch 学习笔记01 - 20210611
qq_42840712的博客
06-11 295
一、model.train()和model.eval()用法和区别 例如：定义一个网络： # 线性网络 class Net(nn.Module): def __init__(self): super(generator, self).__init__() self.gen = nn.Sequential( nn.Linear(100, 256), nn.ReLU(True), nn.Linear(
PyTorch的学习笔记02 - backward( )函数
风海流的豪赌
07-16 5万+
0.4.0版教程。 20191126更新：添加了关于CopySlices backwar函数的讨论。 创建一个Tensor时，使用requires_grad参数指定是否记录对其的操作，以便之后利用backward()方法进行梯度求解。 一个Tensor的requires_grad成员保存该Tensor是否记录操作用于计算梯度。 可利用requires_grad_()方法修改Tenso...
pytorch学习笔记十一：损失函数
Dear_learner的博客
02-28 1896
一、损失函数是什么 损失函数：衡量模型输出与真实标签之间的差异。与损失函数有关的还有代价函数和目标函数。 损失函数（Loss Function）：计算一个样本的差异，Loss=f(y^,y)Loss=f\left ( \hat{y},y \right )Loss=f(y^​,y) 代价函数（Cost Function）：计算整个训练集loss的一个平均值，cost=1N∑iNf(y^,y)cos t= \frac{1}{N}\sum_{i}^{N}f\left ( \hat{y},y \right )co
PyTorch学习笔记-1.PyTorch基础概念
ruoqi23的博客
08-02 906
1.PyTorch基础概念 1.1.PyTorch简介与安装 1.1.1.PyTorch简介 2017年1月，FAIR（Facebook AI Research）发布PyTorch PyTorch是在Torch基础上用python语言重新打造的一款深度学习框架 Torch是采用Lua语言为接口的机器学习框架，但因Lua语言较为小众，导致Torch知名度不高 PyTorch发展 • 2017年1月正式发布PyTorch • 2018年4月更新0.4.0版，支持W indows系统，ca..
pytorch入门 Convolution & Pooling
JJChowLoT的博客
07-19 590
知识点 1、读取图像，灰度图像 2、显示图像 3、定义卷积层 4、nn.Conv2d参数 5、定义kernel 6、修改nn.Conv2d的weight 7、输出图像转numpy() 8、定义池化层 对于Convolution ，一般用torch.nn.Conv2d定义（torch.nn.functional.conv2d()用的比较少) import numpy as np import tor...
Pytorch（二） —— 激活函数、损失函数及其梯度
Cyrus_May的博客
06-28 788
δ(x)=11+e−xδ′(x)=δ(1−δ)\delta(x)=\frac{1}{1+e^{-x}}\\\delta'(x)=\delta(1-\delta)δ(x)=1+e−x1​δ′(x)=δ(1−δ) tanh(x)=ex−e−xex+e−x∂tanh(x)∂x=1−tanh2(x)tanh(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}\\\frac{\partial tanh(x)}{\partial x}=1-tanh^2(x)tanh(x)=ex+e−xex−e−x​∂x∂
强化学习之policy-based方法REFORCEMENT实现（PyTorch）
Ton的博客
12-26 2005
强化学习可以根据是否直接输出动作分为value-based和policy-based方法。前者根据预测和控制求出最优值函数（V或Q），然后通常取贪心策略来得出最优动作，后者直接一些，他直接输出动作，即policy-based。 value-based已经比较不错，但是仍需学习policy-based原因有三点： ①：value-based无法很好解决连续动作的RL问题，比如行车，机械臂控制等。 ②：value-based方法常因观测受限而无法求出最优解。 ③：value-based无法解决需要输出随
目标检测常用的损失函数
appleaper的博客
12-07 1403
L1损失(均方误差MSE) 优点：各点都连续光滑，方便求导，具有较为稳定的解 缺点：不是特别的稳健，因为当函数的输入值距离中心值较远的时候，使用梯度下降法求解的时候梯度很大，可能导致梯度爆炸。 L2损失(平均绝对误差MAE) 表示了预测值的平均误差幅度，而不需要考虑误差的方向 优点：无论对于什么样的输入值，都有着稳定的梯度，不会导致梯度爆炸问题，具有较为稳健性的解。 缺点：在中心点是折点，不能求导，不方便求解。 smooth L1损失函数 当|x-y|<1的时候，求导后的导数为(x-y),
Pytorch学习之十九种损失函数
热门推荐
mingo_敏
01-01 7万+
损失函数通过torch.nn包实现， 1 基本用法 criterion = LossCriterion() #构造函数有自己的参数 loss = criterion(x, y) #调用标准时也有参数 2 损失函数 2-1 L1范数损失 L1Loss torch.nn.L1Loss(size_average=True) 2-2 均方误差损失 MSELoss torch.nn.MSELoss(siz...
pytorch 3 mae、mse、BCELoss、BCEWithLogitsLoss和CrossEntropyLoss等loss的使用
a486259的博客
01-04 4770
在深度学习任务中，根据loss的设计可以简单的分为线性回归、逻辑回归和softmax回归。 一、线性回归loss 其中线性回归是指拟合一个线性函数，通常用mse、mae来评价模型的拟合效果，此外mse、mae还可以作为loss训练模型。需要格外注意的是loss值的大小毫无意义，只有梯度值才是决定模型学习的方向。只是，一般情况下loss与梯度呈现正相关，loss大，则梯度也大。在线性回归中，y_pred的shape与y_true是一模一样的 1.1 mse的使用 当用mse为评价指标时，才用考虑异常值
基于Pytorch的强化学习(DQN)之策略学习
ZDDWLIG的博客
03-22 2279
目录 1. 引言 2. 数学推导 2.1 状态价值函数 2.2 策略梯度 2.3 蒙特卡罗近似 3. 算法 1. 引言 我们上次讲到了价值学习，这次我们来看看基于策略的学习，我们状态价值函数能够描述当前状态下局势的好坏，如果越大那局势不就会越好吗，所以我们得到了策略学习的基本思想：找到最优的action使达到最大。 2. 数学推导 2.1 状态价值函数 我们之前知道状态价值函数，我们先用神经网络来近似，这里的是神经网络的参数，如果我们认为与无关，...
pytorch梯度的计算过程
qimo601的专栏
03-30 8654
1、基础知识: 与numpy中的基本操作相似， pytorch 的作用是引入GPU加快运算， 增加图形界面， 适合大数据运算， 尤其是deep learning gradient 梯度类似于求导， 找到梯度下降的最佳路径。 tensor 除了可以进行线性代数运算， 还可以求梯度 tensor在pytorch里面是一个n维数组。我们可以通过指定参数reuqires_grad=True来建立一个反向传播图，从而能够计算梯度。在pytorch中一般叫做dynamic computation g...
pytorch的梯度计算以及backward方法
步步拾遗
03-21 4万+
tensors： tensor在pytorch里面是一个n维数组。我们可以通过指定参数reuqires_grad=True来建立一个反向传播图，从而能够计算梯度。在pytorch中一般叫做dynamic computation graph(DCG)——即动态计算图。 import torch import numpy as np # 方式一 x = torch.randn(2,2, requir...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ThetaQing

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值