开源创新与教育平等：Mathpresso 与 Upstage 利用 Llama 2 模型重塑全球数学教育

  每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！ 订阅：https://rengongzhineng.io/

在首尔的数学教育初创公司Mathpresso，与领先的韩国AI初创公司Upstage合作，创建了一款名为MathGPT的高精度数学专用大型语言模型（LLM），这款基于Meta的开源模型Llama 2的产品，正在重新定义全球教育的可达性和个性化。

Mathpresso联合创始人李永载（Jake Yongjae Lee）表示：“我们的主要关注点是数学。”他补充说，QANDA平台特别适合于有结构化课程的学科，如讲座和练习题集。然而，他指出：“像ChatGPT这样的商业LLM缺乏适应复杂教育环境的定制能力。”

据李永载介绍，学生的学习受到超局部因素的影响，包括课程、学区、考试趋势、教学风格等。在这种复杂性中，Llama 2帮助Mathpresso设想了一个每个人都能获得高质量教育的世界。

利用像Llama 2这样的开源模型，团队能够创建灵活的、领域特定的教育产品，同时充分利用他们自己的专业数据和技术。其成果是MathGPT，一个基于Llama 2的基础模型，具有强大的数学解析能力。Upstage负责模型的引擎和微调，而Mathpresso和QANDA则提供专业的数学数据以供模型学习。

今年早些时候，MathGPT在评估小学和中学数学表现的基准测试中创下了新的世界纪录。

MathGPT通过提供详细的解决方案过程，而不仅仅是数学问题的答案，帮助学生深化对数学的理解。这种方式有助于培养比典型解释更深层次的理解。

Mathpresso团队使用从QANDA平台收集的数据进行完整的微调。由于这些数据通常以问题及其解决方案的配对形式存在，训练过程涉及向模型提出一个问题，并训练它生成正确的答案。这些数据是QANDA的专有资产，所以团队得出结论，使用开源模型比封闭源代码或托管模型更好，因为它允许他们保留对自己数据的控制。

Mathpresso需要一个在解释数学表达式方面具有卓越能力的模型。为此，选择性地整合专门用于数学表达式的数据，增强了Llama 2的LaTeX文档准备系统表达式。

至于Upstage，其Llama之旅始于追求一种能够在英语和其他语言（如韩语）中表现出色，并能无缝适应各种公司需求的多功能语言模型。为了衡量进展，它的目标是在HuggingFace的Open LLM Leaderboard上名列前茅，旨在超越GPT-3.5的基准分数。经过评估BERT-based模型后，Upstage发现学术论文显示Llama 2具有更高的基准表现。

Upstage首席执行官Sung Kim表示：“为了创建一个冠军语言模型，我们需要一个强大的起点——这就是Llama 2的用武之地。”作为开源LLM世界中的顶尖表现者和首选模型，Llama 2是我们项目的完美基础。”

该公司首先使用Llama 2进行微调，以在排行榜上竞争，这涉及调整现有模型以在该基准上表现出色。其Llama2-70b模型成功上升到第一位置，使Upstage成为全球第一个在Open LLM Leaderboard上超越GPT-3.5的公司。

接下来，Upstage利用更小的版本Llama2-7b进行韩语支持研究并开发其自己的基础模型。这使公司能够探索韩语能力并构建定制的基础模型。由于其在开源库中的广泛支持，公司采纳了Llama 2架构作为其默认选择。

此后，该公司与Mathpresso的合作，作为与电信巨头KT的战略伙伴关系的一部分，实现了MathGPT的记录。Upstage还开发了其第一个预训练LLM，SOLAR-10.7B（Specialized and Optimized LLM and Applications with Reliability的简称），该模型去年12月也登顶了Open LLM Leaderboard。与拥有数百亿参数的更大模型相比，Solar是一个轻量级模型，参数不到20亿。由于使用较小的训练数据集，该模型的推理成本更低，速度比GPT-3.5快约2.5倍。

Kim表示：“如果Llama 2没有作为开源模型发布，我们就无法实现这种快速崛起。”“我们的故事体现了开源对崭新生成AI初创公司的强大力量。”

对于Mathpresso来说，通过AI导师为每个人提供1:1个性化教育一直是一个长期目标。

“通过QANDA平台，我们能够精心收集并数字化每个学生的学习路径和需求的独特数据，”李永载说。 “借助像Llama 2这样的开源模型，我们有灵活性创建可负担的教育工具，利用我们独到的洞察帮助全球学生发挥他们的最大潜力。”Mathpresso和Upstage都认为，像Llama 2这样的开源模型可以对大大小小的公司产生深远的影响。

“获得尖端开源工具和库的访问可以平衡竞技场，”Kim说，“使组织能够利用高级技术和方法论，这些可能否则无法达到。”