浙江大学发布开源大模型知识编辑工具EasyEdit，效果超越传统微调方法

©PaperWeekly 原创 · 作者 | nlper

摘要

大模型知识编辑旨在精准并参数高效地改变大模型的行为（例如修正模型内部过时和错误的知识，去除偏见有毒的内容，植入思想钢印等），而不会对不相关的输入产生负面影响。近期，来自浙江大学的研究人员发布了名为 EasyEdit 的开源大模型知识编辑工具，其提供了多种方法并支持编辑多类大模型如 GPT-J、T5、LlaMA（支持从 1B 到 65B 等），使得模型满足不断变化的用户需求和对齐日益变化的真实世界。

项目主页：

https://github.com/zjunlp/EasyEdit

相关论文：

https://arxiv.org/abs/2305.13172

动机&背景

大模型从预训练语料中习得了大量语言类和世界知识并存储在参数中。然而由于真实世界的改变，以及下游任务数据分布偏移等问题，模型的输出不总是尽如人意。例如，大模型存在的幻觉（Hallucination）以及偏见有毒输出等安全问题，因此修正大模型并使其输出符合事实且安全可控非常重要。那么，如何修正大模型模型里存储的过时错误或偏见有毒的知识呢？