![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
LLM论文精读
文章平均质量分 93
KeSprite
这个作者很懒,什么都没留下…
展开
-
LLM.03 Apollo Oracle Retrieval Augmented Reasoning:多智能体辩论与检索增强
本文介绍了一种名为“多智能体辩论与检索增强”(Multi-Agent Debate with Retrieval Augmented,简称MADRA)的新型框架,旨在通过引入外部检索的先验知识来有效缓解多智能体辩论系统中的认知限制问题,从而提升智能体的推理能力。MADRA框架的关键创新在于将检索机制融入辩论过程,使智能体能够获取并利用相关领域的既有知识,进而避免因认知局限导致的错误观点固执和正确观点放弃的问题。原创 2024-06-28 00:11:10 · 783 阅读 · 0 评论 -
LLM.02 Mixed Distillation Helps Smaller Language Model Better Reasoning
混合蒸馏框架:MD框架创新性地融合了CoT和PoT两种提示技术。CoT鼓励LLMs生成中间推理步骤的自然语言描述,而PoT则促使LLMs生成可执行的Python代码作为中间步骤,从而增强模型的逻辑推理能力。这些能力随后被蒸馏到小型模型中,使得小模型能够进行更复杂的多路径推理。实验验证:研究通过一系列实验展示了MD的有效性,不仅提升了基于LLaMA2-7B和CodeLlama-7B等小型模型在SVAMP基准测试上的准确率,分别达到了84.5%和85.5%,还超过了GPT-3.5-Turbo的表现。原创 2024-06-27 21:41:35 · 1745 阅读 · 0 评论 -
LLM.01 Contextual Position Encoding
本论文提出了一种新的位置编码方法——上下文位置编码(Contextual Position Encoding, CoPE),以解决传统位置编码在处理复杂序列任务中的局限性。标准的绝对和相对位置编码仅依赖于令牌的固定位置,而CoPE通过引入上下文信息,动态调整每个令牌的位置编码。该方法包括计算序列的上下文向量,并利用此向量调整标准位置编码,使得模型能够更灵活地捕捉序列中的位置关系。原创 2024-06-19 15:03:35 · 850 阅读 · 0 评论