推荐系统进化了，使用LLM完成用户偏好的对齐

推荐系统 --> 进化了，新的一种可能实现方式是基于LLM的生成式任务引导。

以下为论文核心精华：

生成式主动任务引导（GATE）：一种学习框架，其中LLM通过与用户进行自由形式的基于语言的交互，引导和推断出用户预期的行为。

研究结果表明，基于语言模型的引导可以成为将模型与复杂的人类偏好和价值观对齐的强大工具。

生成式主动任务引导（GATE）通过互动的自由形式问题引导用户表达其偏好，然后将这些偏好用于后续的决策过程。与非互动引导方法（例如提示）不同，生成式引导能更好地探索人类偏好的细微差别。与主动学习方法不同，生成式引导可以提出更通用、自由形式的问题。图中的三个部分说明了：

（A）模糊用户偏好：用户希望将对任务执行方式的模糊偏好转化为机器学习模型的规范。这是具有挑战性的，因为用户缺乏完美的内省能力，偏好很难用语言来明确表达，规范需要预测棘手的真实世界边缘案例，并且模型可能会从提供的示例或指令中错误推断。

（B）任务引导：我们考虑了从用户那里引导这些模糊偏好的各种方法，包括非互动提示、主动学习和生成式引导（GATE）。

（C）评估：我们在一个保留的测试集上评估方法，评估语言模型预测用户真实决策的准确性。

https://arxiv.org/pdf/2310.11589.pdf

#MixCopilot