论文笔记--Toolformer: Language Models Can Teach Themselves to Use Tools

1. 文章简介

• 标题：Toolformer: Language Models Can Teach Themselves to Use Tools
• 作者：Timo Schick, Jane Dwivedi-Yu, Roberto Dessì, Roberta Raileanu, Maria Lomeli, Luke Zettlemoyer, Nicola Cancedda, Thomas Scialom
• 日期：2023
• 期刊：arxiv preprint

2. 文章概括

  文章给出了一种可以自动调用API的LLM方法“Toolformer”，该工具可以自行决定是否调用API，何时调用API以及调用什么API，从而达到通过API检索增强增加LLM回答的可靠性。

3 文章重点技术

3.1 Toolformer

  给定语言模型$M$，给定一系列可供调用的API接口$c=(a_c,i_c)$，其中$a_c$为API的名称，$i_c$为API的输入，API会返回结果$r$，记$e(c,r)=<API>a_c(i_c)\to r</API>)$，其中$<API>,</API>,\to$表示特殊token，用于区分API的输入和输出。给定数据集 C = { x 1 , … , x ∣ C ∣ } \mathcal{C} = \{x^1, \dots, x^{|\mathcal{C}|}\} C={ x1,…,x∣C∣}，其中$x^i$表示输入的文本。则Toolformer按照如下的步骤进行训练、推理：

• Sampling API Calls：首先，对每个API接口，我们设计一个对应的prompt“$P(x)$"让模型自动改写原始输入为调用API的输入。如下图所示，对一个原始输入文本$x$，对任意位置