BPC和BPW都是评估语言模型性能的指标:
BPC (Bits-Per-Character)
BPC表示 每个字符的平均编码长度,计算公式为: BPC = 交叉熵损失失/ log(2)
其中交叉熵损失是模型在数据集上的平均负对数似然。 BPC越小,表示模型对数据集的建模能力越强。
BPW (Bits-Per-Word))
BPW表示 每个单词的平均编码长度,计算公式为: BPW =交叉熵损失失/ (log(2) * 平均单词长度)
其中平均单词长度是训练集中单词的平均字符长度。 BPW越小,也表示模型对数据集的建模能力越强。
交叉熵损失的单位 通过除以log(2)