LLM大模型从入门到精通（2）--LLM模型的评估指标

        LLM大模型建立完成之后，需要对大模型的性能进行评估。评估指标可以根据具体任务的不同而有所差异，以下是一些常见的评估指标：

1. 准确率（Accuracy）：模型预测正确的样本数占总样本数的比例。

2. 精确率（Precision）：预测为正样本的样本中真正为正样本的比例，可以衡量模型的分类准确程度。

3. 召回率（Recall）：真实的正样本中被模型预测为正样本的比例，可以衡量模型对正样本的查全率。

4. BLEU 分数：BLEU 分数是评估一种语言翻译成另一种语言的文本质量的指标. 它将“质量”的好坏定义为与人类翻译结果的一致性程度. 取值范围是[0, 1], 越接近1, 表明翻译质量越好.

        BLEU 根据`n-gram`可以划分成多种评价指标，其中`n-gram`指的是连续的单词个数为n，实践中，通常是取N=1~4，然后对进行加权平均.

        下面举例说计算过程（基本步骤）：

        1. 分别计算candidate句和reference句的N-grams模型，然后统计其匹配的个数，计算匹配度.

        2. 公式：candidate和reference中匹配的 n−gram 的个数 /candidate中n−gram 的个数.

 

5. ROUGE 指标：ROUGE 指标是在机器翻译、自动摘要、问答生成等领域常见的评估指标. ROUGE通过将模型生成的摘要或者回答与参考答案（一般是人工生成的）进行比较计算，得到对应的得分.

6. PPL：PPL用来度量一个概率分布或概率模型预测样本的好坏程度. PPL越小，标明模型越好.