带温度的softmax

为啥不能修改昵称啊

于 2023-10-21 17:49:01 发布

阅读量756

点赞数

文章标签： python

本文链接：https://blog.csdn.net/weixin_43845922/article/details/133964299

版权

在这里插入图片描述

用pytorch写一下使用带有温度的softmax的demo

import torch
import torch.nn.functional as F

# 定义带有温度的softmax函数
def temperature_softmax(logits, temperature=1.0):
    return F.softmax(logits / temperature, dim=-1)

# 输入logits
logits = torch.tensor([[1.0, 2.0, 3.0], [1.0, -1.0, 0.5]])

# 不同温度的输出
temperatures = [0.5, 1.0, 2.0]

for temp in temperatures:
    print(f"Temperature = {temp}")
    print(temperature_softmax(logits, temp))
    print()

在这里插入图片描述