数学推理能力自我提升:一种新型AI训练方法

在人工智能领域,如何提升语言模型的数学推理能力一直是一个重要而又具有挑战性的研究课题。近日,新加坡科技设计大学(SUTD)的研究人员提出了一种新型的AI训练方法,通过结合自我训练(Self-Training)和直接偏好优化(Direct Preference Optimization, DPO)技术,显著提升了语言模型的数学推理能力,同时大幅降低了训练成本。这一突破性研究成果有望为AI领域带来新的发展机遇。

传统方法的局限性

目前,提升语言模型数学推理能力的主流方法主要有两种:一是通过人工标注大量高质量的训练数据;二是利用更大规模的语言模型(如GPT-4)生成训练数据。然而,这两种方法都存在明显的局限性。

人工标注数据不仅耗时耗力,成本高昂,而且很难保证数据的质量和多样性。另一方面,虽然利用大规模语言模型可以快速生成大量训练数据,但这种方法不仅计算成本高,而且严重依赖于闭源的专有模型,缺乏可持续性和可扩展性。

新加坡科技设计大学StatNLP研究组的王天多博士表示:“我们的研究目标是探索一种更加高效、经济且可持续的方法来提升语言模型的数学推理能力。我们希望能够让小型语言模型通过自我学习不断进步,而不是过度依赖大型专有模型。”

创新方法:DPO增强的自我训练

为了克服现有方法的局限性,研究团队提出了一种名为"DPO增强的自我训练"(DPO-augmented Self-Training)的新型训练方法。该方法巧妙地结合了自我训练和直接偏好优化两种技术,实现了语言模型数学推理能力的显著提升。

自我训练是一种经典的半监督学习方法,其核心思想是让模型从自己生成的伪标签中学习。