Argmax与SoftArgmax

已于 2023-06-26 01:33:51 修改
阅读量5.1k 收藏
点赞数 2
CC 4.0 BY-SA版权
分类专栏： AI人工智能与大数据 Python实战 深度学习实战 文章标签： 自然语言处理 人工智能 语言模型 python 开发语言
于 2023-06-26 01:20:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/universsky2015/article/details/131388794
本文介绍了在Pytorch中如何实现SoftArgmax操作，作为argmax的可微分替代方案，用于在网络中进行反向传播。详细阐述了argmax函数的工作原理，并提供了SoftArgmax在三维张量上的应用实例。

Implement SoftArgmax with Pytorch.

在编程时，有时候需要返回一个张量最大值所在的维度序号（如分类任务中返回概率最大的类别编号、定位任务中返回概率最大的空间坐标编号），此时需要用到argmax操作。

Pytorch中的argmax函数定义为torch.argmax(input, dim=None, keepdim=False)，其中的dim参数指定寻找最大值的维度，keepdim参数指定是否保持原张量的维度。

如一个尺寸为(3,4,5)(3,4,5)(3,4,

了解本专栏 订阅专栏 解锁全文 超级会员免费看
soft_argmax
jacke121的专栏
11-28 3260
https://github.com/Fdevmsy/PyTorch-Soft-Argmax/blob/master/soft-argmax.py 在姿态估计算法中，微软开发的 SimpleBaseline 是精度高而又轻量级的典范，昨天一篇论文Simple and Lightweight Human Pose Estimation，在该架构基础上做了少许改进，取得了更快的速度和更小的模型...
softmax & argmax & softargmax辨析
qq_44459787的博客
02-21 6057
softmax 输入为向量，输出为值为0-1之间的向量，和为1。在分类任务中作为概率出现在交叉熵损失函数中。 import numpy as np data=np.array([0.1, 0.3, 0.6, 2.1 ,0.55]) np.exp(data)/np.sum(np.exp(data)) # softmax array([ 0.07795756, 0.09521758, 0.12853029, 0.57603278, 0.12226179]) argmax 为了
关于softmax、argmax、softargmax
weixin_30732825的博客
11-09 869
在阅读LIFT：Learned Invariant Feature Transform一文时，文中第1节提到为了保证端到端的可微性，利用softargmax来代替传统的NMS（非极大值抑制）来挑选极值点位置。由于只了解softmax，对于softargmax不甚了解，所以记录下来。 1）softmax： 输入为向量，输出为值为0-1之间的向量，和为1。在分类任务中作为概率出现在交叉熵损失函数中...
softargmax(soft-argmax)
hxxjxw的博客
11-28 5371
softargmax可以作为argmax的近似。 因为argmax是不可导的，而softargmax是可导的
softmax，argmax，soft-argmax
weixin_38530843的博客
11-10 2117
softmax，argmax，soft-argmax 理解_道长的博客-CSDN博客 1）softmax： 定义：就相当于密度函数。 特点：面积加起来等于1。 成效：向量中的参数被归一化，总和为1。 公司： 代码： import numpy as np data=np.array([0.1, 0.3, 0.6, 2.1 ,0.55]) np.exp(d...
soft-argmax将热点图转换为数值坐标应用于人体姿态估计
weixin_30917213的博客
08-23 1098
人体姿态估计常用预测热点图的方法预测x和y的坐标值，热点图可以理解为概率响应图，通过求热点图最大值所在位置坐标，就可以得到该关键点的位置坐标 热点图法的缺点 量化产生的精度损失：卷积网络下采样使模型的计算量减小，输出可能是输入图像大小的四分之一，而坐标经过量化[x/n]再还原回去，就不可避免的产生偏差 监督热点图标签，不是直接的监督坐标，有一定问题，如下图。（为什么不直接回归坐标...
跟着StatQuest学知识04-ArgMax、SoftMax和交叉熵
m0_74803856的博客
03-22 602
ArgMax、SoftMax和交叉熵
softmax，argmax，soft-argmax 理解
道长的博客
03-16 1万+
参考https://www.cnblogs.com/king-lps/p/9937440.html 1）softmax： softmax是一种指数归一化函数。 import numpy as np data=np.array([0.1, 0.3, 0.6, 2.1 ,0.55]) np.exp(data)/np.sum(np.exp(data)) # softmax ou...
PyTorch学习笔记 —— Softmax函数
热门推荐
ProQianXiao的博客
11-04 6万+
一、Softmax函数作用 Softmax函数是一个非线性转换函数，通常用在网络输出的最后一层，输出的是概率分布（比如在多分类问题中，Softmax输出的是每个类别对应的概率），计算方式如下： 得到的是第i个位置对应的概率,每个位置的概率之和为1（可以看出Softmax仅进行计算，没有需要学习的参数）。 二、PyTorch计算方式 在PyTorch中，包 torch.nn.functi...
soft-argmax踩坑
shuijiaobuzhundahulu的博客
09-19 1320
最近在2D human pose estimation时需要用到soft-argmax，找了几个版本的函数，都有一个问题 RuntimeError: "softmax_lastdim_kernel_impl" not implemented for 'Long' 一、代码如下 def softargmax2d(input, beta=100): *_, h, w = input.shape input = beta*input.reshape(*_, h * w) inpu
argmax、softargmax求heatmap中最大值所在的坐标
邹九的个人博客
10-06 2205
On Differentiating Parameterized Argmin and Argmax Problems with Application to Bi-level Optimization argmax和softargmax的基本方法都是找到坐标的期望值，即对array softmax归一化以后得到概率值，然后和坐标相乘得到坐标的期望值，就是最大值的坐标。 argmax的程序： import numpy as np array=np.arange(11) #np.random.rand.
编程算法基础技巧，TopK、Soft-argmax、PerspectiveTransform、FLOPs、Cuda-kernel函数
人生得意须尽欢
02-25 1446
kirin 980 CPU Jetson Nano Jetson Xavier NX Jetson TX2 1： Top K TopK，是问得比较多的几个问题之一，到底有几种方法，这些方案里蕴含的优化思路究竟是怎么样 问题描述： 从arr[1, n]这n个数中，找出最大的k个数，这就是经典的TopK问题。 栗子： 从arr[1, 12]={5,3,7,1,8,2,9,4,7,2,6,6} 这n=12个数中，找出最大的k=5个。 https://blog.csdn.net/wufaliang003/artic
argmax含义
YUAN1125的专栏
04-16 3863
函数y=f(x)，x0= argmax(f(x)) 的意思就是参数x0满足f(x0)为f(x)的最大值；换句话说就是 argmax(f(x))是使得 f(x)取得最大值所对应的变量x。 arg即argument，此处意为“自变量”。 举个例子更好懂： f(x)=-|x|+5, i.e., f(x)=-abs(x)+5; max[f(x)] = 5, when x = 0; s
从 Softmax 到 Argmax：多分类模型输出的本质分析
最新发布
专注于Python爬虫开发，分享爬虫技巧、项目实战与反爬经验，使用Scrapy、BeautifulSoup等工具，解决数据抓取难题。
08-21 667
本文深入解析了多分类任务中的两个核心概念：Softmax和Argmax。Softmax将模型输出的实数向量转化为概率分布，具有增强区分度、便于交叉熵计算的作用；Argmax则选取概率最大的类别作为最终预测结果，仅用于推理阶段。两者在输出类型、可微性和应用阶段上存在明显差异，但在模型流程中紧密配合。文章还探讨了温度参数调节、不确定性量化等应用要点，指出理解二者的本质关系对优化多分类模型具有重要意义。
Sampling-Argmax：用重参数技巧优化Soft-Argmax
zenRRan的博客
02-22 858
每天给你送来NLP技术干货！作者| 镜子@知乎链接 |https://zhuanlan.zhihu.com/p/468208003论文地址：https://jeffli.site/sa...
[TensorFlow] argmax, softmax_cross_entropy_with_logits, sparse_softmax_cross_entropy_with_logits函数详解
小太阳~
05-24 1653
1、tensorflow.nn.sparse_softmax_cross_entropy_with_logits 2、tensorflow.argmax
分类任务中softmax+argmax和直接argmax得到的结果有什么异同？
ywfwyht的博客
08-31 1391
从输出结果可以看出，softmax+argmax和argmax的结果是一样的，但是softmax+argmax得到的结果是归一化后的概率值。因为矩阵中的每个值都大于0，因此softmax不会改变矩阵中元素的相对大小。在实际应用中，softmax可能会对结果产生影响并产生不同的输出。
gumbel-softmax(替代argmax)
hxxjxw的博客
09-14 3217
gumbel-softmax(替代argmax)
深度学习：用于multinoulli输出分布的softmax单元
Rookiekk
10-13 1516
首先说明Bernoulli分布对应sigmoid单元，Multinoulli分布对应softmax单元。了解multinoulli分布请看：机器学习：Multinoulli分布与多项式分布。 softmax函数可以看作sigmoid函数的扩展，其中sigmoid函数用来表示二值型变量的分布。为了推广得到具有n个值的离散型变量的情况，现在需要创造一个向量,它的每个元素是。我们不仅要求每个元素介于0...
argmax与max
10-06
argmax和max都是数学和计算机科学中常见的函数，但在不同的上下文中有着不同的用途。 1. **max**函数：它通常用于找出一组数值中的最大值。例如，在Python中，`max()`可以接收一系列数字作为输入，并返回其中的最大值。如果你想要找到一维数组中的最大元素及其索引，可以用`numpy`库的`np.argmax()`函数，它返回的是最大值对应的下标。 2. **argmax**函数：这是`max`的变体，它不仅返回最大值，还返回使得该值最大的那个元素的索引。在上述提到的`numpy`中，`argmax()`就是这样一个函数，当你提供一维数组时，它会告诉你最大值位于数组中的哪个位置。 举个例子： ```python import numpy as np numbers = [10, 5, 20, 15] max_value = max(numbers) # 返回20，最大值 index_of_max = np.argmax(numbers) # 返回2，对应最大值的位置 print(f"最大值是 {max_value}，其索引是 {index_of_max}") ```
评论 18
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

程序员光剑

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值