深度学习 pytorch 困惑度计算方法

最新推荐文章于 2024-04-13 09:25:53 发布

置顶一如年少模样丶

最新推荐文章于 2024-04-13 09:25:53 发布

阅读量3.7k

点赞数 4

分类专栏：深度学习文章标签：自然语言处理 pytorch 深度学习神经网络机器学习

本文链接：https://blog.csdn.net/q506610466/article/details/112974616

版权

深度学习专栏收录该内容

13 篇文章 14 订阅

订阅专栏

以下是我编写的计算困惑度 PPL的代码
根据困惑度的定义：（其定义是其他形式的定义非书本上的定义，实验常用的就是这种形式）
来源解释：https://stackoverflow.com/questions/61988776/how-to-calculate-perplexity-for-a-language-model-using-pytorch

$PPL=e^{cross\_entropy}$
其中 $cross\_entropy$ 就是交叉熵损失因此只需要对交叉熵损失求exp()
注意：F.cross_entropy的参数 reduction必须要为 mean 即默认就为 Mean

from torch import Tensor
import numpy as np
import torch.nn.functional as F


def perplexity(outputs: Tensor, targets: Tensor, config=None):
    """
    计算语言模型困惑度
    :param outputs: [batch_size,seq_len,vocab_size]
    :param targets: [batch_size,seq_len]
    :param config:  配置文件 default:None
    :return: 困惑度数值
    """
    ce = F.cross_entropy(outputs.view(-1, outputs.size(-1)), targets.view(-1),
                         ignore_index=config.data.pad_id if config is not None else None)

    return torch.exp(ce)