关于softmax、argmax、softargmax

最新推荐文章于 2024-09-07 14:56:11 发布

weixin_30732825

最新推荐文章于 2024-09-07 14:56:11 发布

阅读量783

点赞数

文章标签：人工智能 python

原文链接：http://www.cnblogs.com/king-lps/p/9937440.html

版权

本文介绍了softmax、argmax和softargmax的概念及它们在深度学习中的作用。softmax用于将向量转换为概率分布，argmax用于找到最大值的索引但不可导，而softargmax作为可微的argmax替代品，常用于端到端学习中，如LIFT论文中提出的可微分非极大值抑制。

摘要由CSDN通过智能技术生成

在阅读LIFT：Learned Invariant Feature Transform一文时，文中第1节提到为了保证端到端的可微性，利用softargmax来代替传统的NMS（非极大值抑制）来挑选极值点位置。由于只了解softmax，对于softargmax不甚了解，所以记录下来。

1）softmax：

输入为向量，输出为值为0-1之间的向量，和为1。在分类任务中作为概率出现在交叉熵损失函数中。

import numpy as np
data=np.array([0.1, 0.3, 0.6, 2.1 ,0.55])
np.exp(data)/np.sum(np.exp(data))          # softmax

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_30732825

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

Argmax与SoftArgmax

程序员光剑

06-26

4782

在编程时，有时候需要返回一个张量最大值所在的维度序号（如分类任务中返回概率最大的类别编号、定位任务中返回概率最大的空间坐标编号），此时需要用到。函数是不可导的，在构建网络时无法反向传播梯度。在实际构建网络时通常使用。的三维空间张量寻找其最大值对应的坐标，返回尺寸为。对于张量中的每一个位置。参数指定是否保持原张量的维度。参数指定寻找最大值的维度，

python softmax函数

jacke121的专栏

03-05

7990

import math z = [1.0, 2.0, 3.0, 4.0, 1.0, 2.0, 3.0] z_exp = [math.exp(i) for i in z] print(z_exp) # Result: [2.72, 7.39, 20.09, 54.6, 2.72, 7.39, 20.09] sum_z_exp = sum(z_exp) print(sum_z_ex...

参与评论您还未登录，请先登录后发表或查看评论

softmax，argmax，soft-argmax

weixin_38530843的博客

11-10

1929

softmax，argmax，soft-argmax 理解_道长的博客-CSDN博客 1）softmax：定义：就相当于密度函数。特点：面积加起来等于1。成效：向量中的参数被归一化，总和为1。公司：代码： import numpy as np data=np.array([0.1, 0.3, 0.6, 2.1 ,0.55]) np.exp(d...

torch.softmax()和torch.argmax()

weixin_47516566的博客

04-19

3019

用于计算给定输入张量上的 softmax 激活函数。softmax 函数通常用于机器学习中的多类分类问题，其目标是预测属于每个类的输入的概率分布。创建一个带有形状的张量，并使用该函数找到沿最后一个维度的最大值的索引。生成的张量具有的形状，并包含输入张量每一行沿最后一个维度的最大值的索引。111请注意，如果一行中有多个最大值，则该函数将返回最大值第一次出现的索引。用于沿指定维度查找张量中最大值的索引。它以张量的形式返回最大值的索引。torch.softmax()例子。

softargmax(soft-argmax)

hxxjxw的博客

11-28

4601

softargmax可以作为argmax的近似。因为argmax是不可导的，而softargmax是可导的

softmax，argmax，soft-argmax 理解

热门推荐

道长的博客

03-16

1万+

参考https://www.cnblogs.com/king-lps/p/9937440.html 1）softmax： softmax是一种指数归一化函数。 import numpy as np data=np.array([0.1, 0.3, 0.6, 2.1 ,0.55]) np.exp(data)/np.sum(np.exp(data)) # softmax ou...

torch.max()、torch.argmax()、torch.softmax()、torch.sum()联系与区别---个人简单总结

qq_37803694的博客

10-19

776

对于使用dim时，以二维tensor为基准：若是二维，则dim=0表示对每列进行处理，dim=1表示对每行进行处理；类比若是三维，dim=0表示channels，dim=1表示对每列进行处理，dim=2表示对每行进行处理；类比若是一维，则dim=0表示对这一维进行处理。由此可以看出：dim=?表示什么随着被处理的tensor的维度进行动态伸缩调整。

softmax

haimengao的专栏

06-08

4534

softmax是柔性化最大值，是一种归一操作，使得输出在（0,1）之间。举例来说a=3,b=6,c=9. max=9,softmax=9/(3+6+9)=0.5,argmax其实是取得max时的arg，argmax=c

什么是softmax函数？

05-07

相比于argmax函数，softmax函数被称为一种平滑的可微的选择，因此softmax函数有时候被更明确地称之为softargmax函数。和softmax函数一样，argmax函数进行vector运算，转换每一个数值到0，除了最大值之外，最大值被...

分类任务中softmax+argmax和直接argmax得到的结果有什么异同？

ywfwyht的博客

08-31

895

从输出结果可以看出，softmax+argmax和argmax的结果是一样的，但是softmax+argmax得到的结果是归一化后的概率值。因为矩阵中的每个值都大于0，因此softmax不会改变矩阵中元素的相对大小。在实际应用中，softmax可能会对结果产生影响并产生不同的输出。

soft-argmax将热点图转换为数值坐标应用于人体姿态估计

weixin_30917213的博客

08-23

977

人体姿态估计常用预测热点图的方法预测x和y的坐标值，热点图可以理解为概率响应图，通过求热点图最大值所在位置坐标，就可以得到该关键点的位置坐标热点图法的缺点量化产生的精度损失：卷积网络下采样使模型的计算量减小，输出可能是输入图像大小的四分之一，而坐标经过量化[x/n]再还原回去，就不可避免的产生偏差监督热点图标签，不是直接的监督坐标，有一定问题，如下图。（为什么不直接回归坐标...

soft_argmax

jacke121的专栏

11-28

3148

https://github.com/Fdevmsy/PyTorch-Soft-Argmax/blob/master/soft-argmax.py 在姿态估计算法中，微软开发的 SimpleBaseline 是精度高而又轻量级的典范，昨天一篇论文Simple and Lightweight Human Pose Estimation，在该架构基础上做了少许改进，取得了更快的速度和更小的模型...

深度学习-为什么损失函数前一般不加argmax？

Huoyo

09-12

1000

文本以损失函数中的交叉熵为例，其在深度学习中经常使用，用来求目标与预测值之间的损失值。先回顾一下公式： loss(y,ypre)=−∑i=1nyi∗logyipre loss(y,y^{pre}) = -\sum_{i=1}^n{y_i*log y_i^{pre}} loss(y,ypre)=−i=1∑nyi∗logyipre yyy为真实值，yprey^{pre}ypre为预测值以...

损失函数（loss function）

fakerth的博客

10-11

1421

神经网络的学习通过某个指标表示现在的状态，以这个指标为基准，寻找最优权重参数。神经网络以某个指标为线索寻找最优权重参数。神经网络的学习中所用的指标称为损失函数（loss function）。损失函数是表示神经网络性能的“恶劣程度”的指标，即当前的神经网络对监督数据在多大程度上不拟合。

卷积神经网络 tensorflow_TensorFlow 卷积神经网络实现

weixin_39598584的博客

11-24

178

本节将使用TensorFlow实现一个卷积神经网络，具体模型见下图：Fig.1, 本节RNN卷积神经网络模型图一，数据导入导入mnist数据集的方法同前面一样一样的！import 二，参数的初始化数据集mnist图像输入为灰度图，所以channel为1，这样像素点数 28*28*1=784，最终需要分类的标签为0到9，十个标签。下面分别是卷积层和全连接层参数定义和初始化。1，初始化代码n_in...

Sampling-Argmax：用重参数技巧优化Soft-Argmax

zenRRan的博客

02-22

649

每天给你送来NLP技术干货！作者| 镜子@知乎链接 |https://zhuanlan.zhihu.com/p/468208003论文地址：https://jeffli.site/sa...

Gumbel-Softmax简介

qq_44733706的博客

08-07

2917

Gumbel softmax：解决了采样于计算图的分离问题。

torch.argmax()，torch.softmax与torch.max()的使用方法及区别

最新发布

浩瀚之水的专栏

09-07

337

在PyTorch中，, 和是三个非常不同但经常一起使用的函数，它们在处理张量（Tensor）时各有其特定的用途。下面将分别解释它们的使用方法及区别。

softmax和argmax获取类别index

07-28

回答: softmax和argmax是用于获取类别index的两种常用方法。softmax是一种常用的激活函数，它将输入的向量转化为概率分布，使得每个类别的概率值都在0到1之间，并且所有类别的概率之和为1。通过对softmax输出的概率分布进行argmax操作，可以得到概率最大的类别的index。这个index可以用来表示模型对于输入数据的分类结果。\[3\] 然而，softmax和argmax在某些情况下可能存在问题。首先，softmax输出的概率分布可能会过于自信，导致对于不确定的样本也给出了确定的分类结果。这可能会导致模型的过拟合和泛化能力的下降。其次，argmax操作只选择了概率最大的类别，忽略了其他类别的信息。这可能会导致模型对于类别之间的细微差别不敏感。\[2\] 为了解决这些问题，研究者提出了一种称为Soft-Argmax的方法。Soft-Argmax相当于对人工标注进行了一次软化，将原本的one-hot标注转化为概率分布。这种思想在分类任务中早有应用，被称为LabelSmoothing。Soft-Argmax通过学习一种概率分布来表示类别的权重，从而使得模型对于不确定性的样本更加鲁棒。\[2\] 另外，为了解决Gumbel-Softmax的随机性带来的问题，研究者引入了重参数技巧。重参数技巧通过引入一个可微的噪声分布来近似Gumbel-Softmax的采样过程，从而使得模型的训练更加稳定和可控。\[3\] #### 引用[.reference_title] - *1* *2* *3* [Sampling-Argmax：用重参数技巧优化Soft-Argmax](https://blog.csdn.net/qq_27590277/article/details/123081210)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]