[论文笔记] BPC(bits per character)和BPW(bits per word)

BPC和BPW都是评估语言模型性能的指标:

BPC (Bits-Per-Character)

        BPC表示 每个字符的平均编码长度，计算公式为: BPC = 交叉熵损失失/ log(2)

        其中交叉熵损失是模型在数据集上的平均负对数似然。 BPC越小，表示模型对数据集的建模能力越强。

BPW (Bits-Per-Word))

        BPW表示 每个单词的平均编码长度，计算公式为: BPW =交叉熵损失失/ (log(2) * 平均单词长度)