#今日论文推荐#KDD 2022 | 针对数学题理解的中文预训练模型 JiuZhang

#今日论文推荐#KDD 2022 | 针对数学题理解的中文预训练模型 JiuZhang

结合以 chain-of-thoughts 为代表的 prompt 工程，GPT-3、PaLM 等超大规模英文预训练模型在中学甚至大学难度的数学题求解中取得了令人瞩目的结果。然而，这类用于数学题求解的预训练模型大多在英文语料库上进行预训练，对于非英语领域的关注不够。那么，与 BERT-base 相近的基础规模中文预训练模型能否进行有效的数学题理解呢？本文从预训练任务设计的角度进行尝试，提出了首个面向数学题理解的中文预训练模型 JiuZhang。受人类学习过程的启发，我们为 JiuZhang 设计了从基础到高级的课程预训练策略，逐步让模型完成从数学符号语义理解，到数学推理逻辑，再到自我检查与纠错的学习过程。九个高中难度的数学题理解相关的下游任务评测结果显示，JiuZhang 在大部分设定下优于包括多种中文预训练模型在内的强基线模型。该预训练模型由中国人民大学AI Box小组和哈工大讯飞联合实验室联合开发。

数学能力指的是从认知的角度获取、处理和保留数学信息的能力 [1]。数学文本理解任务相较于其他标准NLP任务更加困难，因为该任务在自然语言形式的问题陈述中混合了数学术语、符号和公式，需要复杂的数学逻辑和背景知识来推导出解决方案。最近，预训练语言模型（PLMs）[2] 揭示了一种更加有效地理解和文本表示方法。在利用大规模通用语料库进行预训练后，PLMs 可以基于大量参数对丰富的语义知识和语言特征进行有效编码和表示 [12]。此外，它们可以通过微调或进一步预训练来处理下游任务 [7, 8]。对于数学文本理解任务，现有的方法 [3, 4] 要么采用掩码语言模型任务（MLM）来提高对数学符号和术语的理解 [4]，要么设计特定的预训练任务来加强文本描述和公式之间的语义关联 [3, 5]。
尽管预训练语言模型在基本的数学任务上取得了显著的表现，但在高中选择题、证明题、解答题这类对高级数学知识和逻辑有更深刻理解的更高层次的任务上，它们的表现还不够好。一个主要原因是，预训练任务（如 MLM 任务）主要是通过上下文共现来捕捉文本语义，而不是通过复杂的数学知识或逻辑推理来捕捉数学语义。由于没有完全理解隐式的数学语义，语言模型可能会产生一种语义上合理，但数学上不正确的解答（例如 1+1=3）。为了准确理解数学语义，必须设计更有效的预训练任务或策略，以提高语言模型对数学文本的理解和表达能力。除此之外，现有的数学领域预训练模型大多是在英语语料库上进行预训练，不能直接应用于其它语种。

论文题目：JiuZhang: A Chinese Pre-trained Language Model for Mathematical Problem Understanding
详细解读：https://www.aminer.cn/research_report/62cfc8c17cb68b460feaf7edhttps://www.aminer.cn/research_report/62cfc8c17cb68b460feaf7ed
AMiner链接：https://www.aminer.cn/?f=cs