本文提出了一种名为 DATG 的动态属性图引导的可控文本生成方法，旨在在不损害文本流畅性的情况下，通过解码阶段调整关键词来精确控制大型语言模型（LLMs）生成文本的特定属性。DATG 解码处理框架包括语境语料库构建、属性分类器评分、动态属性图构建和动态边界控制下的文本重生成，实现了对生成文本的属性有效控制，同时保持文本质量。
引言
可控文本生成（Controlled Text Generation, CTG）是大语言模型（Large Language Models, LLMs）文本生成的一个重要研究领域，旨在创造出符合特定标准或属性的文本。这包括调整文本的情绪倾向、确保内容安全性、或满足具体主题要求等。
目前 CTG 实现的主流方式是结合有监督微调（Supervised Fine-Tuning, SFT）和人类反馈强化学习（Reinforcement Learning from Human Feedback, RLHF）的范式，通过直接改变模型参数以适应特定的输出要求。但 SFT+RLHF 范式通常要求对基座模型进行专门的微调，限制了其在不同模型间的迁移能力。
另一种策略是在解码阶段调整概率，这种策略提供了更高的灵活性，允许在不修改模型本身的前提下控制文本的生成，使其可广泛应用于各种 LLMs。已有尝试利用小型语言模型来影响大模型的解码过程，从而控制输出文本的特定条件。
但是，这种外部控制可能会影响文本的质量，使其失去自然性和流畅性。近期研究 Air-decoding 指出，过度控制解码过程可能会损害文本的自然性和流畅性，导致生成文本的质量下降。
因此，CTG 的一个关键挑战是，如何在保持文本流畅性的同时，有效地实现对生成文本的控制。这需要一种能够在不影响 LLMs 固有生成能力的前提下，对文本的特定属性进行精确控制的方法。
论文标题：
Controlled Text Generation for Large Language Model with Dynamic Attribute Graphs
论文地址：
https://arxiv.org/abs/2402.11218
代码地址：
https://github.com/IAAR-Shanghai/DATG
本文提出了一种动态属性图（Dynamic Attribute Graphs-based, DATG）引导的可控文本生成方法，旨在在解码阶段实现对文本属性的精确控制，同时保持文本的自然流畅性。该方法利用动态属性图来评估和调整与目标属性相关的关键词，通过调整关键属性词的出现，在不牺牲文本质量的情况下，实现对生成文本属性的有效控制。
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
