[论文笔记] BPC(bits per character)和BPW(bits per word)

BPC和BPW都是评估语言模型性能的指标:

BPC (Bits-Per-Character)

        BPC表示 每个字符的平均编码长度，计算公式为: BPC = 交叉熵损失失/ log(2)

        其中交叉熵损失是模型在数据集上的平均负对数似然。 BPC越小，表示模型对数据集的建模能力越强。

BPW (Bits-Per-Word))

        BPW表示 每个单词的平均编码长度，计算公式为: BPW =交叉熵损失失/ (log(2) * 平均单词长度)

        其中平均单词长度是训练集中单词的平均字符长度。 BPW越小，也表示模型对数据集的建模能力越强。

        交叉熵损失的单位 通过除以log(2)