torch.softmax()
函数是 PyTorch 中一个非常有用的函数,它主要用于将一组未归一化的分数(logits)转换成归一化的概率分布。这个转换过程是通过应用 softmax 函数来实现的,softmax 函数会将输入张量的每个元素压缩到 (0, 1) 区间内,并且确保输出张量中所有元素的和为 1,从而形成一个概率分布。
用于计算给定输入张量上的 softmax 激活函数。softmax 函数通常用于机器学习中的多类分类问题,其目标是预测属于每个类的输入的概率分布
使用方法
torch.softmax(input, dim=None, _stacklevel=None, dtype=None)
input
:输入张量,可以是任意形状的。dim
:指定在哪个维度上进行 softmax 操作。如果不指定(即dim=None
),则默认在最后一个维度上进行操作。_stacklevel
:这是一个内部参数,通常不需要用户指定。dtype
:输出张量的数据类型。如果指定了dtype
,则输出张量将转换为该数据类型。
返回值
返回一个与输入张量形状相同的张量,其中包含了归一化后的概率值。
示例
import torch
# 假设我们有一组未归一化的分数
logits = torch.tensor([[2.0, 1.0, 0.1], [1.0, 2.0, 0.5]])
# 应用 softmax 函数
probs = torch.softmax(logits, dim=1)
print(probs)
tensor([[0.6590, 0.2424, 0.0986],
[0.2312, 0.6285, 0.1402]])
在这个例子中,logits
是一个二维张量,其中包含了两组分数(每行代表一组)。我们通过 torch.softmax(logits, dim=1)
将这些分数转换成了概率分布,其中 dim=1
表示我们在每一行(即每一组分数)上独立地应用 softmax 函数。输出结果 probs
将是一个与 logits
形状相同的张量,但其中的元素现在表示了概率值。
注意,softmax 函数输出的概率值并不是绝对的,而是相对于同一组分数中的其他分数而言的。因此,即使某个分数的 softmax 输出值很高(例如接近 1),也并不意味着该分数在实际应用中就一定是正确的。它只表示在给定的分数集合中,该分数是最有可能的。