BILLY : Steering Large Language Models via Merging Persona Vectors for Creative Generation

这份研究提出的BILLY框架极具创新性，为解决多LLM系统效率低的问题提供了关键思路。文章核心是通过融合角色向量，在单个大语言模型中实现多角色协作的创意生成效果，同时大幅降低计算成本与推理延迟。

一、文章主要内容总结

1. 研究背景与问题

• 现有方案局限：多LLM系统虽能模拟人类集体智能提升创意（如让模型分别扮演创意专家、环保主义者），但存在计算成本高、推理延迟长的问题，且易因沟通摩擦导致“过程损失”（集体成果低于个体贡献总和）。
• 单模型方案不足：通过提示词让单模型同时扮演多角色，难以实现角色的连贯融合，受模型能力和训练数据覆盖范围限制。

2. BILLY框架核心流程

BILLY（BlendIng persona vectors for Large Language model creativitY）是无训练成本的框架，核心分三步：

1. 提取角色向量：通过对比方法，分别获取“体现特定角色”（如环保主义者）和“中性回应”的模型激活状态，计算两者差值作为角色向量，捕捉角色对应的激活空间方向。
2. 离线融合向量：将多个角色向量（如创意专家+环保主义者）取平均值，生成单一复合引导向量，无需在线多模型交互。
3. 推理时引导生成：在模型推理的特定层（实验中为第20层），将复合向量叠加到原始激活值上，引导模型生成融合