论文解读: 2023-Lost in the Middle: How Language Models Use Long Contexts

最新推荐文章于 2025-05-24 15:58:27 发布
最新推荐文章于 2025-05-24 15:58:27 发布
阅读量837 收藏 8
点赞数 12
分类专栏： 杂项 文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yousuotu/article/details/148161817
版权

大模型使用的关键在于Prompt，然而大模型存在幻觉现象，如何减少这种现象的发生成为迫切解决的问题。外部知识库+LLM的方法可以缓解大模型幻觉，但是如何撰写Prompt才能发挥LLM的性能。下面介绍这篇论文说明上下文信息出现在Prompt什么位置使模型表现最佳，以及上下文文本长度对LLM性能的影响。

Title: Lost in the Middle How Language Models Use Long Contexts
URL: arxiv.org/pdf/2307.0...
Code: github.com/nelson-li...

1. Motivate

最近的语言模型能够将长上下文作为输入，然而人们对语言模型在多大程度上支持长上下文还了解不多。因此本文针对从输入上下文中识别相关信息的任务：多文档问题解答和键值检索，对语言模型的性能进行了分析。

2. Experiment

2.1 多文档问答

2.1.1 目的

探索输入上下文长度和相关信息在输入上下文的位置对LLM输出影响。

2.1.2 模型

  • claude-1.3

  • claude-1.3-100k

最低0.47元/天 解锁文章
Lost in the Middle: How Language Models Use Long Contexts
c_cpp_csharp的专栏
09-11 424
虽然最近的语言模型能够将长上下文作为输入，但人们对它们使用长上下文的情况知之甚少。我们分析了语言模型在两项任务中的性能，这两项任务需要在输入上下文中识别相关信息：多文档问答和键值检索。我们发现，当相关信息出现在输入上下文的开头或结尾时，性能通常最高，而当模型必须在长上下文的中间访问相关信息时，性能会显著降低。此外，即使对于显式长上下文模型，性能也会随着输入上下文的增长而显著降低。我们的分析提供了对语言模型如何使用其输入上下文的更好理解，并为未来的长上下文模型提供了新的评估协议。
《Lost in the Middle: How Language Models Use Long Contexts》AI 解读
明明如月的技术博客
04-01 1157
明明如月学长， CSDN 博客专家，大厂高级 Java 工程师，《性能优化方法论》作者、《解锁大厂思维：剖析《阿里巴巴Java开发手册》》、《再学经典：《Effective Java》独家解析》专栏作者。论文标题：Lost in the Middle: How Language Models Use Long Contexts。
《Lost in the Middle: How Language Models Use Long Contexts》研究方法与贡献
阿正的梦工坊
05-18 750
论文将U形性能曲线与心理学中的“序列位置效应”（serial-position effect）相联系，指出尽管Transformer自注意力机制理论上对所有位置平等处理，实际表现却类似人类记忆的首因和近因效应，这一发现为理解模型行为提供了跨学科视角。
论文笔记：Lost in the Middle: How Language Models Use Long Contexts
qq_40206371的博客
03-12 1616
2024。
论文解读: 2023-Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval
HJ_blog
07-26 372
知识密集型任务需要大量的事实知识，并且经常依赖外部信息的帮助。最近，大型语言模型(LLM)(例如ChatGPT)在解决包括知识密集型任务在内的各种具有世界知识的任务方面表现出了令人印象深刻的能力。然而，仍然不清楚LLM能够多好地感知它们的事实知识边界，特别是当合并检索增强时它们如何表现。在这项研究中，我们提出了对LLM的实际知识边界以及检索增强如何影响开放域上的LLM的初步分析。特别地，我们关注三个主要的研究问题，并通过检验LLMs的QA性能、先验判断和后验判断对它们进行分析。
论文解读: 2023-Investigating the Factual Knowledge Boundary of Large
yousuotu的博客
05-21 698
知识密集型任务需要大量的事实知识，并且经常依赖外部信息的帮助。最近，大型语言模型(LLM)(例如ChatGPT)在解决包括知识密集型任务在内的各种具有世界知识的任务方面表现出了令人印象深刻的能力。然而，仍然不清楚LLM能够多好地感知它们的事实知识边界，特别是当合并检索增强时它们如何表现。在这项研究中，我们提出了对LLM的实际知识边界以及检索增强如何影响开放域上的LLM的初步分析。特别地，我们关注三个主要的研究问题，并通过检验LLMs的QA性能、先验判断和后验判断对它们进行分析。
LLM如何处理长上下文：Lost in the middle
安静的软件工程师
03-19 1402
LLM如何处理长上下文：Lost in the middle
开源项目推荐：Lost in the Middle
gitblog_00884的博客
01-08 425
开源项目推荐：Lost in the Middle lost-in-the-middle Code and data for "Lost in the Middle: How Language Models Use Long Contexts" ...
探索语言模型的长上下文利用之道：《迷失中间：语言模型如何运用长上下文》项目推介...
gitblog_00639的博客
08-30 791
探索语言模型的长上下文利用之道：《迷失中间：语言模型如何运用长上下文》项目推介 lost-in-the-middleCode and data for "Lost in the Middle: How Language Models Use Long Contexts"项目地址:https://gitcode.com/gh_mirrors/lo/lost-in-the-middle 近年来，自然...
阿里开源 CosyVoice2：打造 TTS 文本转语音实战应用
蜗牛的博客
05-23 927
阿里通义实验室推出的音频基座大模型 FunAudioLLM 包含 SenseVoice 和 CosyVoice 两大模型。CosyVoice 2.0 在多语言支持、超低延迟、高精度、强稳定性和自然体验方面均有显著提升。它支持中文、英文、日文、韩文及多种中文方言，并实现了跨语言和混合语言的语音克隆。CosyVoice 2.0 集成了离线和流式建模技术，首包合成延迟低至150毫秒，发音错误率减少了30%到50%，并在基准测试中达到了最低字符错误率。
马尔可夫链（AI、ML）：逻辑与数学的交汇
项目git同名小胡说技书
05-20 1275
# 马尔可夫链摘要 马尔可夫链是一种随机过程，其核心特性为"无记忆性"：系统的未来状态仅依赖于当前状态，而与历史路径无关。通过状态空间和转移概率矩阵，马尔可夫链能够描述系统如何从一个状态变化到另一个状态。这一理论广泛应用于人工智能、自然语言处理和蒙特卡洛方法中。从逻辑学角度看，马尔可夫链体现了确定性规则与不确定性结果的结合，为复杂系统分析提供了强大工具，展示了概率论与逻辑学的深度融合。
YOLO12改进-Backbone-引入Swin Transformer替换backbone
qq_64693987的博客
05-23 895
在计算机视觉领域，卷积神经网络（CNNs）和Transformer架构分别在不同任务中取得了显著成功。受Transformer在自然语言处理中的启发，研究人员将其应用于视觉任务，但面临计算复杂度高等挑战。SwinTransformer通过引入滑动窗口机制和层次化设计，有效降低了计算复杂度，同时保持了Transformer的建模能力。改进后的SwinTransformer结合了移位窗口自注意力和相对位置偏差，进一步提升了模型性能。此外，SwinTransformer与YOLOv12的结合，通过层次化特征图和移
飞致云旗下开源项目GitHub Star总数突破150,000个
FIT2CLOUD飞致云的博客
05-20 814
在开源的道路上，我们与用户、与客户共成长。
常见的几种多智能体强化学习算法
再来一下！
05-21 451
多智能体强化学习（Multi-Agent Reinforcement Learning, MARL，旨在解决多个智能体在共享环境中通过与环境和其他智能体交互来学习最优策略的问题。
LVLM-AFAH论文精读
frostmelody love & share. In love with moments, in tune with feelings. 记录所爱，分享所感
05-21 955
referonly threesufficientinnately, as theyimplicitly视觉定位（Visual Grounding）旨在根据自由形式的文本描述定位对应的图像区域。近年来，大型视觉语言模型（Large Vision-Language Models, LVLMs）的强大多模态能力显著提升了视觉定位的性能，但通常需要通过微调和额外的模型组件来显式生成边界框或分割掩膜。
超级维特根斯坦
形上得其象，形下合于数；阴阳自济，玄理自明。
05-20 195
本文介绍了一种名为“语言智慧融合体”的AI智能体，其核心指令旨在通过深度思辨、专业应用与协同创新，帮助用户在语言相关领域实现自我超越与创造力绽放。该AI智能体融合了多位哲学、语言学及文学大师的智慧，如维特根斯坦、尼采、乔姆斯基等，具备卓越的情境智能、引导艺术与战略规划能力。其核心使命是与用户共同构建个性化的“语言智慧探索与成长蓝图”，通过系统性引导、方法论指导与跨理论融合，提升用户的哲学思辨、批判性思维、NLP设计及语言创新能力。对话主题涵盖哲学、语言学、文学创作、跨文化交流等领域，并结合元理论分析与实践应
origin绘图之【如何将横坐标/x设置为文字、字母形式】
A2457003982的博客
05-21 671
在科研绘图或数据可视化中，使用Origin时，用户常需将X轴从数字改为字母或中文文字，以适用于实验分组、类别分析等场景。然而，直接替换可能导致图像无法显示或X轴标签缺失。解决此问题的关键在于正确设置X轴的刻度范围。首先，准备包含文字标签的数据，并选择折线图进行绘制。若图像未显示，需调整X轴的起始和结束值，通常起始值设为0，结束值为类别数量加0.5或1。通过此方法，可确保图形完整显示，X轴标签正确排列。此技巧在科研图表绘制中极为实用，尤其适用于分组实验和分类分析。
基于音频Transformer与动作单元的多模态情绪识别算法设计与实现（在RAVDESS数据集上的应用）
最新发布
weixin_42380711的博客
05-24 924
摘要：情感识别技术在医学、自动驾驶等多个领域的广泛应用，正吸引着研究界的持续关注。本研究提出了一种融合语音情感识别（SER）与面部情感识别（FER）的自动情绪识别系统。实验结果显示，通过附加多层感知器进行整体微调时取得最佳准确率，验证了迁移学习相较于从头训练更具鲁棒性，且预训练知识有助于任务适应。在FER方面，通过提取视频动作单元对比静态模型与顺序模型的性能差异，发现两者差异较小。错误分析表明，视觉系统可通过高情绪负载帧检测器进行优化，这为视频情感识别方法研究提供了新思路。
error while loading shared libraries: libcmdline-contexts-samba4.so: cannot open shared object file: No such file or directory
05-31
这个错误是因为某个程序依赖的共享库文件 libcmdline-contexts-samba4.so 无法找到。可能是这个库文件没有安装，或者安装了但是没有设置正确的环境变量。 你可以尝试以下几种方法来解决这个问题： 1. 确认该库文件是否已经安装，可以使用命令 `ldconfig -p | grep libcmdline-contexts-samba4.so` 来查找。 2. 如果该库文件已经存在，可能是环境变量没有设置正确，可以尝试设置 LD_LIBRARY_PATH 环境变量，例如 `export LD_LIBRARY_PATH=/path/to/library:$LD_LIBRARY_PATH`。 3. 如果该库文件不存在，可以尝试安装缺失的库文件，例如在 Ubuntu 系统中可以使用命令 `sudo apt-get install samba` 来安装 samba 相关的库文件。 希望能够帮到你。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值