📖标题:Predicting Rewards Alongside Tokens: Non-disruptive Parameter Insertion for Efficient Inference Intervention in Large Language Model
🌐来源:arXiv, 2408.10764
摘要
这篇文章提出了一种名为Otter的方法,通过向Transformer架构中插入额外的参数,来预测校准信号以及原始的LLM输出,从而解决了基于Transformer的大型语言模型(LLMs)存在的生成不安全响应、不可靠推理等局限性。相较于现有的推理干预方法,该方法无需额外的模型微调,因此节省了大量的时间和空间开销。实验表明,Otter在多个复杂任务上均达到了最先进的性能,并且可以与现有的推理引擎无缝集成,只需要进行一行代码的修改,同时插入参数后仍然可以访问原始模型响应。该方法的代码已经在https://github.com/chenhan97/Otter上公开发布。
🛎️文章简介
🔸研究问题:大语言模型(LLM)进行推理时,如何在不破坏原始模型输出的情况下,保持推理效率的同时进行生成干预。
🔸主要贡献:论文提出了一种名为Otter的方法,通过在原始模型中插入新的可训练参数,同时实现了信号校准和生成输出,显著减少了空间和时间开销,保持了与现有推理干预方法相当的性能,还能访问原始模型响应。
📝重点思路
🔺相关工作
🔸LLM推理干预:现有的推理干预方法采用微调的辅助模型来指导LLM的生成,但额外的模型增加空间需求、多次解码迭代增加时间开销。
🔸LLM参数高效微调:随着语言模型的规模不断增大,仅对部分参数进行微调以达到全参微调的效果,包括引入少量可训练参数(LoRA等)、提示调优(p-tuning等)和适配器调优(K-Adaptor等)。
🔺论文方案
🔸思想:在Transformer架构的前馈网络(FFN)和多头注意力(MHA)层中插入新的可训练参数,来预测校准信号并伴随生成语言模型输出。
🔸实现:对于Transformer的第i个块,将原始隐藏状态h_i扩展为h_i=[h_i,h’_i],从而使得可以根据最后一层h’_n预测推理干预信号。
🔎分析总结
🔸Otter在三个高需求的任务(生成解毒、偏好对齐和推理加速)上,相比传统的推理干预方法,节省了大量的额外空间和时间开销,同时获得了与最先进的推理干预方法相当的性能。
🔸Otter在推理速度上显著优于Vicuna-draft和Medusa,实现了比基础模型高达172%的速度提升,并且在平均接受长度和加速方面也表现出色。
🔸以往的研究认为FFN层负责保存知识应优先扩展,但实验发现MHA组件比FFN组件效果要好的多,这个相反的结果值得思考。
💡个人观点
论文的创新点在于提出了一种非破坏性的参数插入方法,实现了高效的推理干预,同时保持了原始模型的输出和知识。
附录