pytorch argmax_怎样克服神经网络训练中argmax的不可导性？

最新推荐文章于 2024-06-03 09:53:52 发布
最新推荐文章于 2024-06-03 09:53:52 发布
阅读量647 收藏
点赞数
文章标签： pytorch argmax
公众号关注 “ ML_NLP ” 设为 “ 星标 ”，重磅干货，第一时间送达！

9a482bccbbc19aadccadb522ee330baf.png

来自 | 知乎

地址 | https://www.zhihu.com/question/422373907/answer/1490072620?

作者 | Zhenyue Qin

编辑 | 机器学习算法与自然语言处理公众号

本文仅作学术分享，若侵权，请联系后台删文处理

有个东西叫strainght through Gumbel (estimator), 可以看一下～

大概思想就是: 假设输入的向量是v, 那么我们用softmax得到softmax(v). 这样, 最大值那个地方就会变得很靠近1, 其他地方就会变得很靠近0. 然后, 我们计算argmax(v), 接着可以得到一个常数c = argmax(v) - softmax(v). 我们这时, 可以用softmax(v) + c来作为argmax(v)的结果. 这个东西的好处是, 我们的softmax(v) + c是有反向传播的能力的. 换句话说, 我们用softmax(v)的梯度来作为反向传播.

如果有哪点没说清楚, 欢迎评论. 谢谢.

P.S. 感谢吕纯川和Towser对于原回答的指正

下载1：四件套

在机器学习算法与自然语言处理公众号后台回复“四件套”，

即可获取学习TensorFlow，Pytorch，机器学习，深度学习四件套！

7569bd96acd86cab7bd8fdb9e6a46309.png

下载2：仓库地址共享

在机器学习算法与自然语言处理公众号后台回复“代码”，

即可获取195篇NAACL+295篇ACL2019有代码开源的论文。开源地址如下：https://github.com/yizhen20133868/NLP-Conferences-Code

重磅！机器学习算法与自然语言处理交流群已正式成立！

群内有大量资源，欢迎大家进群学习！

额外赠送福利资源！邱锡鹏深度学习与神经网络，pytorch官方中文教程，利用Python进行数据分析，机器学习学习笔记，pandas官方文档中文版，effective java(中文版)等20项福利资源

37b7d8bea926ee2b94999115fbf4d6a1.png

获取方式：进入群后点开群公告即可领取下载链接

注意：请大家添加时修改备注为 [学校/公司 + 姓名 + 方向]

例如 —— 哈工大+张三+对话系统。

号主，微商请自觉绕道。谢谢！

b5606b484275346e301c2c8dbd95ab0f.png

0427c16504b848dd4062499a83a32891.png

推荐阅读：

工业界求解NER问题的12条黄金法则

三步搞定机器学习核心：矩阵求导

神经网络中的蒸馏技术，从Softmax开始说起

79222f94e8adb0f9f11bac6b5ed30d24.png

weixin_39935654
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Pytorch(3):梯度下降，激活函数与loss，反向传播算法，交叉熵，MNIST测试实战
JJJJJJames的博客
02-01 673
1、梯度 梯度是一个反向，函数值变大的方向 在做梯度下降时，自变量和因变量是参数和loss函数，参数的值会沿着梯度的方向即loss值更小的方向更新。 2、learning rate learning rate如果太小，那么梯度下降太慢，计算时间太长 learning rate 太大的话，梯度下降可能会反复在局部最小值两端横跳 让lr在梯度较大时，大一些，在梯度较小时，小一些。 可以在lr上加上每次梯度下降时刻的梯度的平方和再开根号来限制lr的变化：AdaGrad 3、initialization st
pytorch_pytorch_卷积神经网络_
09-29
在这个项目中，我们将探讨如何在PyTorch中实现一个卷积神经网络，并利用MNIST数据集进行训练。 首先，我们要导入必要的库，包括PyTorch的torch和torchvision模块。torchvision包含了MNIST数据集，以及预处理和数据...
怎样克服神经网络训练中argmax的不可导性？
weixin_43913077的博客
11-17 1289
文章目录1. strainght through Gumbel (estimator)2. stop gradient operation3. 可以对argmax/argmin 这种不可导的操作直接忽视，也就是锁定 1. strainght through Gumbel (estimator) 令：argmax(v)=softmax(v)+c;c=argmax(v)−softmax(v),且为常数argmax(v)=softmax(v) + c ; c=argmax(v) -softmax(v),且为常数
PyTorch学习（12）：PyTorch取极值（max, argmax, min, argmin）
最新发布
tecsai的博客
06-03 896
PyTorch提供了大量的API接口，帮助我们快速的搭建训练工程，开发新的算法。求极值或者获得极值所处的位置是算法种常见的操作，比如网络的后解算过程中，我们常通过求极值来获得某一个预测点的类别信息。PyTorch提供了max，argmax，min，argmin这四个接口帮助我们快速的获得极值信息。
pytorch自定义不可导激活函数
qq_43110298的博客
03-20 852
今天自定义不可导函数的时候遇到了一个大坑。 首先我需要自定义一个函数：sign_f import torch from torch.autograd import Function import torch.nn as nn class sign_f(Function): @staticmethod def forward(ctx, inputs): output = inputs.new(inputs.size()) output[inputs >
pytorch的求导计算以及处理不可微方法
qq_39861441的博客
08-23 1951
一.pytorch求导计算法 就是普通的微分求导，详见https://zhuanlan.zhihu.com/p/51385110 二.pytorch处理不可微的方式 没有被选择到的直接归零 import torch #x = torch.tensor([[1.,2.,3.],[4.,5.,6.]],requires_grad=True) x= torch.randn(2,3,requires_grad=True) y = torch.add(x,1) print(y) z = 2*torc.
deep_learing_pytorch.zip_CNN_MNIST pytorch_pytorch_优化CNN_卷积神经网络
07-15
在本项目中，我们探索了如何使用PyTorch框架构建并优化一个卷积神经网络（CNN）模型，以解决MNIST手写数字识别任务。MNIST数据集是机器学习领域中一个经典的数据集，用于训练和测试图像分类算法。下面我们将深入讨论...
AlexNet_alexnet_pytorch神经网络_深度学习；pytorch；AlexNet_
10-01
1. **导入库**：首先，我们需要导入PyTorch库和其他必要的库，如`torch.nn`用于定义网络结构，`torch.optim`用于优化器，以及`torchvision`库用于加载和预处理数据。 2. **网络结构定义**：定义一个名为`AlexNet`的...
PyPI 官网下载 | pytorch_pretrained_bert-0.3.0.tar.gz
01-29
本文将围绕PyTorch中的预训练BERT库`pytorch_pretrained_bert`进行深入讲解，以帮助读者理解其核心概念、安装与使用方法，并探讨其在实际项目中的应用。 一、`pytorch_pretrained_bert`库介绍 `pytorch_pretrained...
mnist.zip_MNIST pytorch_pytorch_pytorch mnist_pytorch network_zi
09-20
PyTorch提供了动态计算图的功能，使得构建和训练神经网络变得更加直观。 "pytorch network"指的是我们将构建一个神经网络来处理MNIST数据。通常，对于这种图像分类任务，我们会选择一个卷积神经网络（CNN）或者全...
pytorch使用argmax argsoftmax
weixin_39326879的博客
05-07 2537
argmax不可导 采用argsoftmax替代，可以求导 在这里插入代码片 import torch import torch.nn.functional as F from torch.nn.parameter import Parameter import numpy as np class SpatialSoftmax(torch.nn.Module): def init(self, h...
pytorch argmax_轻松学pytorch构建卷积神经网络
weixin_39812046的博客
11-25 156
点击上方蓝字关注我们微信公众号：OpenCV学堂关注获取更多计算机视觉与深度学习知识网络实现大家好，这个是我的pytorch学习笔记第三篇，主要是使用pytorch来构建一个简单的卷积神经网络，完成mnist手写字符识别。涉及到主要知识点是如何使用torch.nn.Module这个基类来实现一个网络结构定义。这个基类中最重要的是实现自己的forward方法，这个也是自定义网络结构的实现方...
pytorch的max和argmax
q1025538544的博客
09-06 651
torch.Tensor.argmax(dim:int,keepdim:bool)->Tensor 找Tensor中的指定维度dim上最大值所在下标，返回是一个Tensor。keepdim指定返回的Tensor是否和原来的一样形状。若为False，则在dim维度上被压缩。 (只返回下标) torch.Tensor.max(dim:int)->Tuple 找Tensor中的指定维度dim上最大值所在下标，返回一个Tuple，第一个元素是值Tensor，指定最大值。第二个元素则为类...
NumPy / PyTorch 中的argmax函数
YHKKun的博客
03-21 423
函数用于找到数组中最大元素的索引。
怎样判断一个操作是否是可导的(Pytorch) & 不可导的操作的影响
hxxjxw的博客
01-22 3947
在Pytorch中，看一个操作是否可导，即经过这个操作梯度是否还能顺利传递。 可以看到，经过+操作后得到的z，仍能保持梯度的传递 而像torch.argmax(), torch.eq() 这些操作就不行了，这些操作就是不可导的 ...
torch.argmax 的使用
spark的博客
05-12 376
包含四个元素，分别代表第 0 个维度上最大值所在的位置（在本例中，每个元素的值都是 2，表示第 2 行是第一列、第二列、第三列和第四列中的最大值所在的位置）。是一个函数，用于返回张量中某个维度上最大值的索引，即张量中在某个维度上具有最大值的元素所在的位置。在这里，第一个维度的大小为 3，第二个维度的大小为 4。我们在第 0 个维度上使用。例如，如果我们有一个形状为 (3, 4) 的张量。中最大值所在的索引。在 PyTorch 中，
【Pytorch】torch.argmax()用法
qq_43359515的博客
07-29 1598
torch.argmax()使用方法说明
Pytorch学习：torch.argmax(input, dim, keepdim=False)详解
qq_38473254的博客
09-15 374
下面是某深度学习模型在刚开始训练时所预测的标签与真实标签的差异，随着训练的进行，准确率也会不断上升。它表示是否保留要消去的维数，用上面的程序来示范。类似，它也常被用于深度学习中的分类问题。返回输入中所有元素的最大值的索引，与。（行），即求每列最大值的索引。（列），即求每行最大值的索引。的情况，它保留了要消去的列。接下来引入dim属性，
pytorch argmax
10-19
量作为输入，并返回一个包含最大值索引的张量。如果输入张量是多维的，则可以指定在哪个维度上进行查找最大值。如果keepdim参数设置为True，则输出张量的形状与输入张量相同，否则输出张量的形状会减少一个维度。 下面是一个使用argmax函数的例子： import torch x = torch.randn(3, 4) y = torch.argmax(x, dim=1) print(y) 这个例子中，我们首先创建了一个3行4列
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值