Controlled Text Generation for Large Language Model with Dynamic Attribute Graphs

本文是LLM系列文章，针对《Controlled Text Generation for Large Language Model with Dynamic
Attribute Graphs》的翻译。

摘要

受控文本生成（CTG）旨在生成具有特定期望属性的文本。在这项研究中，我们介绍了一个用于大型语言模型（LLM）的可插拔CTG框架，称为基于动态属性图的受控文本生成（DATG）。该框架利用属性评分器来评估LLM生成的句子的属性，并构建动态属性图。DATG调节关键属性词和关键反属性词的出现，在不损害模型原始能力的情况下实现有效的属性控制。我们在四个数据集上进行了两项任务的实验：毒性缓解和情绪转换，使用五个LLM作为基础模型。我们的发现突出了控制准确性的显著提高，在四个数据集的最有利任务中，比基线方法实现了19.29%的峰值改进。此外，我们观察到困惑感显著减少，文本流畅性显著提高。

1 引言

2 方法

3 实验

4 相关工作

5 结论

在本文中，我们提出了基于动态属性图的受控文本生成（DATG），这是一个灵活且可插入的框架，它将图模型与LLM无缝集成以改进CTG。DATG的即插即用特性有助于轻松适应现有的LLM，允许有针对性地引导文本属性，同时保持高度的语言完整性。
我们的框架在关键的CTG任务中取得了显著的成功，如毒性缓解和情绪转换，控制准确性和保持文本流畅性的显著提高就是明证。在DATG中使用动