上海人工智能实验室：LLM公式识别指标CDM

📖标题：CDM: A Reliable Metric for Fair and Accurate Formula Recognition Evaluation
🌐来源：arXiv, 2409.03643

摘要

🔸由于数学表达式的结构复杂和符号多样，公式识别提出了重大挑战。尽管公式识别模型不断进步，但这些模型采用的评估指标（如BLEU和编辑距离），仍然存在明显的局限性。他们忽略了这样一个事实，即同一公式具有不同的表示形式，对训练数据的分布高度敏感，从而导致公式识别评估中的不公平。
🔸为此，我们提出了一种字符检测匹配（CDM）度量，通过设计图像级别而不是LaTexlevel度量分数来确保评估的客观性。具体来说，CDM将模型预测的LaTeX和地面真实LaTeX公式渲染为图像格式的公式，然后采用视觉特征提取和定位技术进行精确的特征级匹配，并结合空间位置信息。与之前仅依赖于基于文本的字符匹配的BLEU和编辑距离度量相比，这种空间感知和字符匹配方法提供了更准确和公平的评估。实验上，我们使用CDM、BLEU和ExpRate指标评估了各种公式识别模型。
🔸结果表明，CDM更符合人工评估标准，并通过消除不同公式表示引起的差异来提供跨不同模型的更公平的比较。

🛎️文章简介

&