pytorch torch.softmax()函数

torch.softmax() 函数是 PyTorch 中一个非常有用的函数，它主要用于将一组未归一化的分数（logits）转换成归一化的概率分布。这个转换过程是通过应用 softmax 函数来实现的，softmax 函数会将输入张量的每个元素压缩到 (0, 1) 区间内，并且确保输出张量中所有元素的和为 1，从而形成一个概率分布。

用于计算给定输入张量上的 softmax 激活函数。softmax 函数通常用于机器学习中的多类分类问题，其目标是预测属于每个类的输入的概率分布

使用方法

torch.softmax(input, dim=None, _stacklevel=None, dtype=None)

• input：输入张量，可以是任意形状的。
• dim：指定在哪个维度上进行 softmax 操作。如果不指定（即 dim=None），则默认在最后一个维度上进行操作。
• _stacklevel：这是一个内部参数，通常不需要用户指定。
• dtype：输出张量的数据类型。如果指定了 dtype，则输出张量将转换为该数据类型。

返回值

返回一个与输入张量形状相同的张量，其中包含了归一化后的概率值。

示例

import torch  
  
# 假设我们有一组未归一化的分数  
logits = torch.tensor([[2.0, 1.0, 0.1], [1.0, 2.0, 0.5]])  
  
# 应用 softmax 函数  
probs = torch.softmax(logits, dim=1)  
  
print(probs)


tensor([[0.6590, 0.2424, 0.0986],
        [0.2312, 0.6285, 0.1402]])

在这个例子中，logits 是一个二维张量，其中包含了两组分数（每行代表一组）。我们通过 torch.softmax(logits, dim=1) 将这些分数转换成了概率分布，其中 dim=1 表示我们在每一行（即每一组分数）上独立地应用 softmax 函数。输出结果 probs 将是一个与 logits 形状相同的张量，但其中的元素现在表示了概率值。

注意，softmax 函数输出的概率值并不是绝对的，而是相对于同一组分数中的其他分数而言的。因此，即使某个分数的 softmax 输出值很高（例如接近 1），也并不意味着该分数在实际应用中就一定是正确的。它只表示在给定的分数集合中，该分数是最有可能的。