Softmax 函数的负版本(Negative Softmax)

Softmax 函数的变体——Softmax 函数的负版本(Negative Softmax)。

具体来说,对于给定的输入向量 x x x 和温度参数 τ \tau τ,Negative Softmax 函数将计算如下:

NSoftmax ( x i , τ ) = exp ⁡ ( − x i / τ ) ∑ j exp ⁡ ( − x j / τ ) \text{NSoftmax}(x_i, \tau) = \frac{\exp(-x_i / \tau)}{\sum_j \exp(-x_j / \tau)} NSoftmax(xi,τ)=jexp(xj/τ)exp(xi/τ)

与标准 Softmax 不同,Negative Softmax 中的每个元素都被除以了温度参数 τ \tau τ 的负数次幂。这意味着输入数字越大,指数部分越小,输出概率就会越小。

以下是一个示例:

import torch.nn.functional as F

# 创建一个大小为 (1, n) 的一行张量
x = torch.randn(1, 5)

# 定义温度参数
tau = 0.5

# 应用负 softmax 函数
probs = F.softmax(-x/tau, dim=1)

print(probs)

在上述示例中,我们首先创建了一个大小为 (1, 5) 的一行张量 x。然后,我们定义了温度参数 tau 为 0.5。接下来,我们使用 PyTorch 中的 torch.nn.functional.softmax() 函数和 - 运算符来将其转换为 Negative Softmax,即 -x/tau。最后,我们打印输出了转换后的概率分布张量 probs。

请注意,与标准 Softmax 类似,如果需要处理多个样本的情况,可以将输入张量的第一维设置为样本数量,然后在 softmax() 函数中指定 dim 参数为 1。这将对每个样本进行独立的 Negative Softmax 转换,并返回一个大小为 (batch_size, n) 的张量,其中每一行都是对应样本的概率分布。同时也可以通过调整温度参数来控制输出分布的形状。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

高山莫衣

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值