- 博客(5)
- 收藏
- 关注
RSS订阅原创 谷歌：长上下文LLM和RAG相结合
在长上下文理解任务中，检索增强生成（RAG）和长上下文（LC）大语言模型（LLM）的性能和计算成本如何权衡？论文提出了一种结合RAG和LC的混合方法SELF-ROUTE，显著降低了成本同时保持了与LC相当的性能。
2024-08-21 16:25:34
112
原创 中科大：LoRA中引入等效梯度优化LLM训练
使用LoRA对大语言模型（LLM）优化过程中，未能很好地近似全参微调。论文提出了LoRA-Pro方法，通过引入等效梯度的闭合解来优化LoRA，从而缩小与全参微调的性能差距。
2024-08-21 14:54:49
207
原创 阿里：LLM训练过程的差异化知识蒸馏
大语言模型（LLM）的知识蒸馏过程中，如何减少教师模型和学生模型在不同领域间的性能差异？论文提出了一种名为DDK的方法，根据教师和学生模型之间的领域性能差异，平滑地动态调整蒸馏数据集的组成，使得蒸馏过程更加稳定和有效。
2024-08-21 14:25:23
383
原创 北大：偏好优化提升LLM在RAG的知识感知
如何优化检索增强语言模型遇到的知识冲突，导致模型的响应混乱？论文提出了一种知识感知偏好优化框架KaPO，通过偏好优化方法避免上下文中的错误信号，增强了LLM的遵循能力和噪声鲁棒性。
2024-08-21 14:03:06
93
原创 谷歌：LLM无监督工具检索增强
在零样本工具检索中，如何通过无监督检索方法提高工具检索的性能？论文提出了Re-Invoke方法，利用大语言模型（LLM）进行工具文档信息丰富和用户意图提取，显著提升了工具检索的性能。
2024-08-21 13:55:20
181
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人