PatentGPT: A Large Language Model for Intellectual Property

本文是LLM系列文章，针对《PatentGPT: A Large Language Model for Intellectual Property》的翻译。

摘要

近年来，大型语言模型（LLMs）因其在众多自然语言过程任务中的出色性能而受到广泛关注，并在各个领域得到了广泛应用。然而，由于该领域对专业知识、隐私保护和超长文本处理的强烈需求，大型语言模型在知识产权（IP）领域的应用具有挑战性。在本技术报告中，我们首次提出了一种低成本、标准化的程序，用于训练面向知识产权的LLM，以满足知识产权领域的独特要求。使用这个标准过程，我们基于开源预训练模型训练了PatentGPT系列模型。通过在开源的面向IP的基准MOZIP上对其进行评估，我们的领域特定LLM表现优于GPT-4，这表明了所提出的训练程序的有效性以及PatentGPT模型在IP领域的专业知识。值得注意的是，我们的模型在2019年中国专利代理人资格考试中超过了GPT-4，得分为65分，与人类专家水平相匹配。此外，利用SMoE架构的PatentGPT模型在IP域中实现了与GPT-4相当的性能，并在长文本任务上表现出更好的性价比，可能成为IP域中GPT-4的替代品。

1 引言

2 预训练