LLM-2023：Toolformer【以自监督的方式微调语言模型，在不失模型的通用性下，让模型学会自动调用API。通过调用一系列工具在各种下游任务中实现了实质性改进的零样本性能】

[2302.04761] Toolformer: Language Models Can Teach Themselves to Use Tools (arxiv.org)

1. 简介

大型语言模型在各种任务上实现了令人深刻的零样本和少样本结果，但是仍存在一些局限性，包括无法获取最新信息，幻觉倾向，精确计算，不知道时间的推移等。

克服这些限制的一个简单方法是让它们能够使用搜索引擎、计算器或日历等外部工具。然而，现有的方法要么依赖于大量的人工注释，要么仅将工具的使用限制在特定任务的设置中，阻碍了在LMs中更广泛地使用工具。

在本文中，作者提出了Toolformer，以自监督的方式微调语言模型，在不失模型的通用性下，让模型学会自动调用API。通过调用一系列工具，包括计算器、问答系统、搜索引擎、翻译系统和日历，Toolformer在各种下游任务中实现了实质性改进的零样本性能，通常可与更大的模型竞争，而不