随着大语言模型的发展,许多模型已经能够处理超过100k+ tokens的输入上下文。然而,这些模型在生成长文本时,普遍存在输出长度受限的问题。
在实际应用中,为了克服这个问题,人们普遍采用「分而治之」的方法,让模型一段一段地写。这种方法在一定程度上似乎能够解决长文本输出的问题,但往往会导致 1)消耗 tokens 量成倍甚至指数增加;2)前后内容不连贯。
如何才能让模型拥有更强的长文本输出能力呢?我们发现,模型输出长度受限的主要原因在于,监督微调(SFT)数据集缺乏足够长的输出样例。
针对这一问题,我们构建了一个 6000 多条2k-20k words 不等的长输出数据集 LongWriter-6k,并在此基础上,对 GLM-4-9B 进行 SFT微调和 DPO对齐。新的模型拥有了能够生成超过10,000字/词连贯文本的能力。
下面是我们用 LongWriter-9B 模型,以「黑神话 · 悟空」为题撰写的玄幻小说。
> prompt: 请帮我撰写一个主题为「黑神话·悟空」玄幻小说,小说以孙悟空为核心,讲述一个桀骜不驯,打怪升级,追逐梦想的玄幻故事,不少于 10000 字
论文: https://arxiv.org/abs/2408.07055
代码: https://github.com/THUDM/LongWriter
模型:
Huggingface:https://huggingface.co/THUDM/LongWriter-glm4-9b
魔搭:https://modelscope.cn/models/ZhipuAI/LongWriter-glm4-9b
数据:
Huggingface:https://huggingface.co/datasets/THUDM/LongWriter-6k
魔搭:https://modelscope.cn/datasets/ZhipuAI/LongWriter-6k
生成长度限制的根源
我们对当前最先进的长上下文模型的最大输出长度做了测试,这些测试会明确要求模型生成不同长度的内容,例如:撰写一篇关于罗马帝国历史的10000字文章。
从上图可以看出,所有模型生成的内容,几乎都不超过 2000 字。
原因是什么呢?
我们做了一个初步的研究,用不同最大输出长度的数据对 GLM-4-9B-base 模型进行 SFT 微调。结果如下:
伴随着要求长度的增加,不同数据集 SFT 微调出来的模型,存在最大输出长度限制。
因此可以得出一个结论,尽管长文本模型在预训练阶段接触了更长的文本序列,但其最大生成长度实际上被 SFT 数据集中输出长度的上限所限制。换句话说,模型“读”到的内容决定了它能“写”多长。
这一发现可以解释当前模型普遍存在的 2000 字输出限制——因为现有的 SFT 数据集很少包含超过此长度的样例;而另一方面,很多数据集都是用现有 LLM 自动构建的,因此它们也继承了源模型的输出长度限制。
自动构建长输出数据集
为了解决 SFT 数据集中长输出文本数据缺失的问题,我们设计了一个名为**「AgentWrite」**的 pipeline,通过分解长生成任务,让现有模型来生成更长的具备连贯性的输出。
具体来说,AgentWrite
-
首先,会根据用户的输入生成一个详细的写作计划,包括每段内容的结构和目标字数
-
其次,模型依次完成每个子任务,并将生成的段落串联起来,最终形成完整的长文本输出。
通过这种方法,AgentWrite 能够生成超过 20,000 字的高质量文本。
教模型生成超长输出
有了一个利用 LLMs 自动生成的更长输出的数据集,我们不禁好奇:是否可以将这种生成超长输出的能力传授给LLMs,使它们能够在单次输出中完成长篇写作任务?
我们从 GLM-4 的 SFT 数据中筛选出了 3,000 条指令(主要是中文),另外从 WildChat-1M(一个包含用户与ChatGPT/GPT-4对话记录的公开日志)中选择了3,000条指令(主要是英文),通过 AgentWrite 并利用 GPT-4o 生成了6,000条长输出的SFT数据,即 LongWriter-6k。
在模型训练中,为了确保模型的通用能力,我们将LongWriter-6k与通用SFT数据(180k 条数据)结合,形成整个训练集。输出长度分布如下:
可以看到LongWriter-6k有效地补充了通用SFT数据中2,000字以上输出样例的不足,并且LongWriter-6k中的输出长度在2,000至10,000词之间分布相对均匀。
微调(SFT): 我们分别针对 GLM-4-9B 和 Llama-3.1-8B 做了 SFT 微调,这两个模型都是基础模型,支持最多128k tokens的上下文窗口,非常适合用于长输出的训练。我们得到两个模型:LongWriter-9B(GLM-4-9B-LongWriter的缩写)和LongWriter-8B(Llama-3.1-8B-LongWriter的缩写)。
对齐(DPO): 为了进一步提高模型的输出质量,并增强其在指令中遵循长度约束的能力,我们在经过 SFT 微调的LongWriter-9B模型上进行了直接偏好优化。DPO数据来自GLM-4的 DPO 数据(大约50,000条),同时包含4k条我们标注的长输出正负样本对。
结果怎么样?
我们在LongBench-Write上对4个专有模型和5 个开源模型进行了评测,如下表所示:
其中 S_l 表示输出长度是否符合要求的得分。当输出长度符合要求时,得分为100;当输出长度超过要求的4倍或低于要求的1/3时,得分会线性下降至0。
S_q 则是从相关性、准确性、连贯性、清晰度、广度与深度以及阅读体验等六个维度,用 GPT-4o 进行的打分,并取平均,代表了生成内容的质量。
最终得分 \overline{S} 通过 S_l 和 S_q 的平均值计算得出。
1. 大多数当前的模型都无法满足超过2,000字的长度要求,而LongWriter模型在此类提示下始终提供更长且更丰富的响应。
更具体来说,在[2k, 4k)范围内当前的模型通常表现不佳,只有Claude 3.5 Sonnet得分尚可;而在[4k, 20k)范围里,几乎所有当前的模型都完全无法达到目标输出长度,甚至得分为0(意味着所有输出长度均小于要求长度的1/3)。
2. DPO(直接偏好优化)有效提升了模型的输出质量及其在长文本生成中遵循长度要求的能力。
通过比较LongWriter-9B和LongWriter-9B-DPO的得分,我们发现DPO显著提高了 S_l(+4%)和 S_q(+3%)的得分,并且这种提升在所有范围内都保持一致。这表明在长文本生成场景中,DPO依然能够帮助提升模型的输出质量,并能更好地使模型的输出长度与要求的长度对齐。
3. LongWriter模型的输出长度限制大概10k至20k字之间,如果想让模型拥有更长输出的能力,则需要更长输出的数据集。
在混合后的 SFT 数据集中可以看到,大部分数据都在 20k 以下,超出 20k 的数据不到 100 条。
我们相信,在未来构建更长的SFT训练数据,可以进一步突破模型输出长度的限制,达到100k甚至更长的输出长度。
读者福利:如果大家对大模型感兴趣,这套大模型学习资料一定对你有用
对于0基础小白入门:
如果你是零基础小白,想快速入门大模型是可以考虑的。
一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。
包括:大模型学习线路汇总、学习阶段,大模型实战案例,大模型学习视频,人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型!
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费
】🆓
👉AI大模型学习路线汇总👈
大模型学习路线图,整体分为7个大的阶段:(全套教程文末领取哈)
第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;
第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;
第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;
第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;
第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;
第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;
第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。
👉大模型实战案例👈
光学理论是没用的,要学会跟着一起做,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
👉大模型视频和PDF合集👈
观看零基础学习书籍和视频,看书籍和视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;
• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;
• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;
• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。
👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费
】🆓