- 博客(5)
- 收藏
- 关注
原创 谷歌:长上下文LLM和RAG相结合
在长上下文理解任务中,检索增强生成(RAG)和长上下文(LC)大语言模型(LLM)的性能和计算成本如何权衡?论文提出了一种结合RAG和LC的混合方法SELF-ROUTE,显著降低了成本同时保持了与LC相当的性能。
2024-08-21 16:25:34
112
原创 中科大:LoRA中引入等效梯度优化LLM训练
使用LoRA对大语言模型(LLM)优化过程中,未能很好地近似全参微调。论文提出了LoRA-Pro方法,通过引入等效梯度的闭合解来优化LoRA,从而缩小与全参微调的性能差距。
2024-08-21 14:54:49
207
原创 阿里:LLM训练过程的差异化知识蒸馏
大语言模型(LLM)的知识蒸馏过程中,如何减少教师模型和学生模型在不同领域间的性能差异?论文提出了一种名为DDK的方法,根据教师和学生模型之间的领域性能差异,平滑地动态调整蒸馏数据集的组成,使得蒸馏过程更加稳定和有效。
2024-08-21 14:25:23
383
原创 北大:偏好优化提升LLM在RAG的知识感知
如何优化检索增强语言模型遇到的知识冲突,导致模型的响应混乱?论文提出了一种知识感知偏好优化框架KaPO,通过偏好优化方法避免上下文中的错误信号,增强了LLM的遵循能力和噪声鲁棒性。
2024-08-21 14:03:06
93
原创 谷歌:LLM无监督工具检索增强
在零样本工具检索中,如何通过无监督检索方法提高工具检索的性能?论文提出了Re-Invoke方法,利用大语言模型(LLM)进行工具文档信息丰富和用户意图提取,显著提升了工具检索的性能。
2024-08-21 13:55:20
181
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人