日积月累，天道酬勤

⭐ 为了以更可解释和模块化的方式捕捉知识，作者提出了REALM预训练框架，通过学习文本知识检索器来增强语言模型预训练算法。

⭐ 作者提出了HippoRAG，首先使用大语言模型将语料库转换为无模式知识图(KG)来模拟新皮层处理感知输入的能力，作为人工海马体索引。给定一个新的查询，HippoRAG识别查询中的关键概念，并在KG上运行个性化PageRank(PPR)算法，使用查询概念作为种子，以整合跨段落的检索信息。

⭐ 现有的RAG方法在知识密集型推理任务中存在困难，因为这些任务所需的有效信息严重分散。本篇工作受认知理论的启发，该理论认为人类在处理知识密集型推理时会将原始信息转换为各种结构化知识，提出了StructRAG框架，它可以识别当前任务的最佳结构类型，将原始文档重建为这种结构化格式，并根据生成的结构推断答案。

⭐ 作者介绍了一种新的多模态检索框架ColPali，可以生成文本和图像的ColBERT类多向量表示，也引入后期交互计算每个查询标记和文档标记之间的交互，最终得到一个分数可用于检索排名。

⭐ 本篇工作提出了如何良好地训练base模型提供指令遵循和函数调用能力，其提出的函数调用格式启发了vLLM和Ollama等支持工具调用。

⭐ 作者提出了一种检索增强微调的方法，为语言模型和检索器进行微调。引导LLM最佳地利用检索到的信息并忽略干扰内容。

⭐ 作者提出对检索器和生成器进行联合训练来完成QA任务和领域自适应，通过微调RAG模型及其检索器，同时在训练期间异步更新知识编码。

⭐ 在RAG长文本的生成过程中，作者提出主动检索增强生成的方法，首先开始回复问题，如果LLM对于生成的句子不太确信，则使用它作为查询检索相关文档，然后根据检索到的文档重新生成下一句话，直到生成结束。

⭐ ColBERT引入了一种晚期交互(late interaction)架构，该架构使用BERT独立编码查询和文档，然后采用一种廉价但强大的交互步骤来建模它们的细粒度相似性。通过推迟这种细粒度的交互，ColBERT能够利用深度语言模型的表达能力，同时获得离线预计算文档表示的能力，从而显著加快查询处理速度。

⭐ 作者提出了可以直接将长文本的全局文本信息拼接到切分后的文本块前面。全局文本信息有(1) 文档的标题 (2) 文档的关键短语，使用TopicRank算法抽取 (3) 共指解析，通过跨段共指解析消解来处理文本块中的代词。

⭐ 作者提出了利用仅编码器的类GPT架构来产生句子嵌入以支持语义检索和其他嵌入任务。在Bi-Encoder设置中，使用位置加权平均池化来得到具有语义信息的句子嵌入。在Cross-Encoder设置中，提取预训练GPT模型的对数概率产生无监督结果。

当我们访问大模型相关的API服务时，通常会遇到速率限制(即限流)，它用于防止用户向某个API发送大量请求，防止请求过载，确保每个人都能公平地访问API。

⭐ 作者提出了MemoRAG，一种通过长期记忆增强的检索增强生成新范式。它使用轻量且长上下文的LLM构建全局记忆，用于生成上下午相关的线索。用另一个表达力强的LLM，根据检索到的信息生成最终答案。

⭐ 作者介绍了 ChatQA，一种两阶段指令微调方法，提高了 RAG 的表现。还引入了一种针对多轮对话 QA 优化的密集检索器。

⭐ 作者提出了一种新的两阶段指令微调框架RankRAG，该框架对LLM进行指令微调，以实现RAG中上下文排名和答案生成的双重目的。阶段一利用SFT对高质量指令跟随数据集进行微调，阶段二对LLM进行检索增强生成和上下文排名的指令微调。

本文介绍了CrossEncoder重排序模型的原理和代码实践。

⭐ 作者提出了QLoRA，一种高效的微调方法，它在减少内存使用的同时保持16位微调任务的完整性能。这是通过：4位NormalFloat、双重量化(对量化常数进行量化)、分页优化器(GPU内存不足的情况下，自动进行CPU和GPU之间的页面传输)来管理内存峰值实现的。微调时冻结**4位量化预训练语言模型**而向低秩适配器(LoRA)反向传播梯度。

⭐ 作者开发了一个两部分量化程序LLM.int8()。首先使用向量级量化，对矩阵乘法中的每个内积使用单独的归一化常数，从而对大多数特征进行量化。然而，对于突现的异常值(outlier)，还包括了一种新的混合精度分解方案，将异常特征维度隔离到16位矩阵乘法中，同时仍然有99.9%以上的值在8位中进行乘法运算。

目前最流行的文本嵌入训练方法CoSENT详细介绍！

⭐ 本工作提出了LLaRA，该方法作为对 LLM 进行后处理适应以用于密集检索应用。LLaRA 包含两个前置任务： LLM 的文本嵌入分别用于重构输入句子的词元和预测下一个句子的词元。通过这种方式旨在捕捉输入文本本身和下一句的全局语义，从而使LLM变成一个有效的密集检索器。