BERT可以上几年级了？Seq2Seq“硬刚”小学数学应用题

©PaperWeekly 原创 · 作者｜ 苏剑林

单位｜追一科技

研究方向｜NLP、神经网络

▲“鸡兔同笼”的那些年

“盈亏问题”、“年龄问题”、“植树问题”、“牛吃草问题”、“利润问题”...，小学阶段你是否曾被各种花样的数学应用题折磨过呢？没关系，现在机器学习模型也可以帮助我们去解答应用题了，来看看它可以上几年级了？

本文将给出一个求解小学数学应用题（Math Word Problem）的 baseline，基于ape210k 数据集 [1] 训练，直接用 Seq2Seq 模型生成可执行的数学表达式，最终 Large 版本的模型能达到 73%+ 的准确率，高于 ape210k 论文所报告的结果。

所谓“硬刚”，指的是没有对表达式做特别的转换，也没有通过模板处理，就直接生成跟人类做法相近的可读表达式。

数据处理

这里我们先观察一下 ape210k 数据集的情况：

{
    "id": "254761",
    "segmented_text": "小 王 要 将 150 千 克 含 药 量 20% 的 农 药 稀 释 成 含 药 量 5% 的 药 水 ． 需 要 加 水 多 少 千 克 ？",
    "original_text": "小王要将150千克含药量20%的农药稀释成含药量5%的药水．需要加水多少千克？",
    "ans": "450",
    "equation": "x=150*20%/5%-150"
}

{
    "id": "325488",
    "segmented_text": "一 个 圆 形 花 坛 的 半 径 是 4 米 ， 现 在 要 扩 建 花 坛 ， 将 半 径 增 加 1 米 ， 这 时 花 坛 的 占 地 面 积 增 加 了 多 少 米 * * 2 ．",
    "original_text": "一个圆形花坛的半径是4米，现在要扩建花坛，将半径增加1米，这时花坛的占地面积增加了多少米**2．",
    "ans": "28.26",
    "equation": "x=(3.14*(4+1)**2)-(3.14*4**2)"
}

可以看到，我们主要关心的是 original_text、equation、ans 字段，其中 original_text 就是题目，equation 则是运算过程（一般以 x= 开头），而 ans 是最终答案。我们希望训练一个模型，由 original_text 来生成 equation，然后经由 python 的 eval 函数直接得到