![](https://img-blog.csdnimg.cn/direct/854a8151597f403fbcc73904fe717d5d.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
LLM Research
文章平均质量分 90
LLM
yubinCloud
哈尔滨工业大学 在校生
展开
-
【LLM 评估】GLUE benchmark:NLU 的多任务 benchmark
经典的 GLUE benchmark:包含 9 个 NLU 任务来评估 LM 的语义理解能力。这些任务均为 sentence or sentence-pair NLU tasks,语言均为英语。原创 2024-06-29 20:32:53 · 1021 阅读 · 0 评论 -
【LLM 评估】MMLU benchmark:用于衡量 LM 的多任务语言理解能力
一个 benchmark:涉及 57 个 subjects 的多项选择题的数据集,共 15908 个 questions原创 2024-06-29 16:06:13 · 1044 阅读 · 0 评论 -
【LLM 论文】Self-Refine:使用 feedback 迭代修正 LLM 的 output
论文提出了 Self-Refine,核心就是反复迭代 Feedback 和 Refine 操作,从而让 LLM 在具体任务上有更好的表现。论文在多个任务上进行了实验,发现 Self-Refine 可以有效地在各种任务上提升 LLM 的表现,当在较弱的小模型上则表现不佳(会重复输出)。原创 2024-06-25 11:18:23 · 1326 阅读 · 0 评论 -
【RAG 论文】IRCoT:基于 CoT 的交叉检索解决多步骤问题
大多数 RAG 都是一次检索来辅助 LLM 生成,但是面对多步骤推理问题,往往需要多次检索多次推理才能解决。本文提出了 IRCoT:交叉进行 CoT 指导 retrieval 和使用 retrieval result 提升 CoT。也就是说,retrieval 和 reason 两个步骤必须相互通知。下图给了一个例子:对于如上的问题, “In what country was Lost Gravity manufactured?” 单独问 LLM 或者单独在维基百科上搜索, 都很难得到答案. 但是通过如下步原创 2024-05-15 21:32:57 · 1219 阅读 · 0 评论 -
【RAG 去噪】引入 NLI 模型来为 RAG 去噪
这篇论文引入 NLI(Natural Language Inference)模型来判定 retrieved doc 是否需要用于辅助 LLM 回答。NLI 模型用于判定一个 hypothesis 与 premise 的关系如下三者之一:“蕴含(entailed)”、“中立(neutral)”、“矛盾(contradicted)”。具体到 RAG 中,question + LLM answer 作为 premise,retrieved doc 作为 hypothesis,由 NLI 模型判定两者是否是 ent原创 2024-05-15 19:27:37 · 686 阅读 · 0 评论 -
【RAG 论文】UPR:使用 LLM 来做检索后的 re-rank
这两篇论文给了我们使用 LLM 来做 QLM re-rank 的思路,展现了通用的 LLM 本身具备强大的 QLM re-rank 的能力。原创 2024-05-14 22:16:37 · 939 阅读 · 0 评论 -
【RAG 论文】BGM:为 LLM 和 Retriever 的偏好 gap 搭建一个 Bridge
本论文提出的问题是现实存在的:LLM 和 Retriever 往往都是 Frozen 的,都是无法微调的,但两者之间的 preference gap 又是明显存在的。本文提出引入一个 Bridge Model 来填补这个 gap,但是本文提出的训练方法有点太复杂了,也许有进一步简化的思路。原创 2024-05-13 22:29:10 · 910 阅读 · 0 评论 -
【RAG 论文】AAR:训练一个LLM喜欢的检索器来做RAG
神奇的是,在一个 LLM 上得到的 preference 竟然可以迁移到其他 LLM,也许是可能大家的训练数据都差不多FiD 是只能用于 encoder-decoder 架构的 LM,现在 decoder-only model 居多的情况下,需要做一些改进了,比如用于衡量 preference 的 score 也许可以由 LLM 直接生成,而不是间接通过 FiD 机制。原创 2024-05-12 22:38:38 · 464 阅读 · 0 评论 -
【RAG 论文】FiD:一种将 retrieved docs 合并输入给 LM 的方法
encoder 独立处理每个 passage,因此只需要在一个 passage 上执行 self-attention,这意味着模型的计算时间随着段落数量呈线性增长,而非二次增长。由 decoder 来联合聚合多个 retrieved passages,可以更好的从中找到相关支持信息。论文最后指出,如何将 FiD 更好集成到 RAG 模型仍然值得探索。原创 2024-05-12 21:33:06 · 619 阅读 · 0 评论 -
【RAG 博客】RAG 应用中的 Routing
⭐⭐⭐⭐根据用户的查询意图,在 RAG 程序内部使用 “Routing the control flow” 可以帮助我们构建更实用强大的 RAG 程序。路由模块的关键实现就是一个 Router,它根据 user query 的查询意图,来将该请求的处理转发到多个下游 handlers 之一。原创 2024-05-11 21:49:15 · 1453 阅读 · 0 评论 -
【RAG 论文】Contriever:对比学习来无监督训练文本嵌入模型
⭐⭐⭐⭐⭐。原创 2024-05-11 19:18:23 · 925 阅读 · 0 评论 -
【LLM 论文】Step-Back Prompting:先解决更高层次的问题来提高 LLM 推理能力
通过一些 few-shot exemplar 即可使用 in-context learning 来学会,原创 2024-05-10 22:02:06 · 862 阅读 · 0 评论 -
【LLM 论文】Chain-of-Verification:通过验证链来减少 LLM 幻觉
验证链(CoVe)通过让 LLM 审议自身的 response 来自我纠正从而减少 LLM 的幻觉问题,特别是将验证过程分解为一组更加简单的问题,能够让模型相比于回答原始查询时能有更高的准确性,从而能够发现一些自身原始 response 可能存在的问题。论文也指出,在第三个步骤“执行验证”中,使用 RAG 方法可能会进一步带来收益。在第三个步骤“执行验证”中,使用 RAG 方法可能会进一步带来收益。原创 2024-05-10 20:15:08 · 754 阅读 · 0 评论 -
【LLM 论文】Least-to-Most Prompting 让 LLM 实现复杂推理
论文指出,该方法的 decomposition prompt 不能很好地跨域泛化,在一个 domain 上 decomposition 的示例无法有效地用在另一个 domain(task)上。总的来说,本工作提出了 least-to-most prompting 的方法,通过自顶向下的问题分解和自底向上的子问题解决实现了最终的解决问题。在该方法中,prompt 由以前的单向与 LLM 交流变成了双向的互动。通过双向交互来指导 LLM 仍然值得探索。pt 由以前的单向与 LLM 交流变成了双向的互动。原创 2024-05-09 22:04:19 · 1367 阅读 · 0 评论 -
【RAG 博客】Small-to-Big Retrieval
这篇 blog 提出的思路是:基于更小、更有针对性的 text chunk 进行 embedding 和 retrieval,但仍然使用较大的 text chunk 来为 LLM 提供更多的上下文信息。也就是在检索过程中使用较小的 text chunk,然后将检索到的文本的对应的更大的 text chunk 给 LLM。技术试图解决这样一个矛盾:更大的 chunk 可以包含更多有用的信息,但其包含的较多无用文本又会掩盖 semantic representation 从而导致检索效果的变差。原创 2024-05-08 21:37:26 · 504 阅读 · 0 评论 -
【RAG 论文】Dense X 检索:将“命题”作为检索粒度
目前的研究发现,对于检索粒度的选择会显著影响检索任务以及下游任务的表现。目前的检索方法大多以文档或者固定大小的 chunk 作为检索粒度,本论文提出以“命题”(proposition)作为检索粒度来进行检索。命题在本论文中被定义为如下:Propositions are defined as atomic expressions within text, each encapsulating a distinct factoid and presented in a concise, self-contain原创 2024-05-08 16:57:18 · 1258 阅读 · 0 评论 -
【RAG 论文】SKR:Self-Knowledge 指导下的 RAG
⭐⭐⭐⭐。原创 2024-05-06 22:06:57 · 1282 阅读 · 0 评论 -
【RAG 论文】Iter-RetGen:多轮迭代检索增强生成
它想让 retriever 根据 q 检索到的文档与 re-ranker 认为的在给了 y1 后与 q 最相关的文档是尽可能相似的,这样 re-ranker 可以教会 retriever 什么才是与 q 相关的文档,同时可以训练 retriever 不要偏离原问题 q,因为随着迭代,会引入很多其他信息,但不要让 retriever 偏离了原来的问题 q 而专注于子问题。拼接,交给 retriever 去检索到 top-k 的段落,然后去生成一个输入给 LLM。对 retriever 的优化。原创 2024-05-05 15:42:09 · 1619 阅读 · 0 评论 -
【LLM 论文】背诵增强 LLM:Recitation-Augmented LM
⭐⭐⭐。原创 2024-05-05 13:43:40 · 458 阅读 · 0 评论 -
【LLM 论文】OpenAI 基于对比学习微调 LLM 得到嵌入模型
这篇论文表明,基于 GPT 系列的 LLM,在足够大的批处理的无监督数据上进行对比预训练,可以获得高质量的文本和代码的 embedding 表示,并可以应用于其他的下游任务中得到不错的表现。原创 2024-05-04 17:07:10 · 969 阅读 · 0 评论 -
【LLM 论文】UPRISE:使用 prompt retriever 检索 prompt 来让 LLM 实现 zero-shot 解决 task
总的来说,这篇论文提出了一个很新颖的思路:prompt retriever,从而提高 LLM 的 zero-shot 的能力。同时还研究了 prompt retriever 从训练的任务类型推广到其他未见过的任务类型,以及从小的 LLM 推广到更大规模的。原创 2024-05-04 10:02:00 · 1251 阅读 · 0 评论 -
【RAG 论文】GenRead:“generate-read“ 可能比 “retrieve-read“ 更有效
这篇论文提出了 Generative-Read 的思路,其实验表明,在不引入外部知识的情况下,其表现就可以达到甚至超过当前的 RAG 的方法。这说明了:当前对 LLM 的内部知识的利用还远远不足。当然,本文也提出,将 Gen-Read 与 Retrivee-Read 进行结合可以达到更好的表现,所以如何在 RAG 系统中更加充分利用 LLM 内部知识,是一个值得研究的挑战。原创 2024-05-04 09:54:37 · 864 阅读 · 0 评论 -
【LLM 论文】CREA-ICL:利用跨语言检索来增强小语种的 ICL 能力
CREA-ICL:利用跨语言解锁来增强低资源语言的 ICL 能力原创 2024-05-02 16:54:44 · 741 阅读 · 0 评论 -
【RAG 论文】Selfmem:使用 LLM 自己的输出来作为下一轮的 context 从而提升自己的生成效果
Selfmem:使用 LLM 自己的输出来作为下一轮的 context 从而提升自己原创 2024-05-02 11:23:55 · 1244 阅读 · 1 评论 -
【RAG 博客】RAG-Fusion:引入 Multi-Query 来丰富用户查询的结果
RAG-Fusion:引入 Multi-Query 来丰富用户查询的结果原创 2024-05-01 17:06:46 · 1339 阅读 · 0 评论 -
【RAG 博客】Haystack 中的 DiversityRanker 与 LostInMiddleRanker 用来增强 RAG pipelines
Haystack 中的 DiversityRanker 与 LostInMiddleRanker 用来增强 RAG pipelines原创 2024-04-30 22:09:48 · 1341 阅读 · 2 评论 -
【IR 论文】HyDE:让 LLM 对 query 做查询改写来改进 Dense Retrieval
HyDE:让 LLM 对 query 做查询改写来改进 Dense Retrieval原创 2024-04-30 20:05:58 · 745 阅读 · 0 评论 -
【RAG 论文】引入 query rewriter 来做查询重写实现对 RAG 的改进
在 RAG pipeline 中引入 query rewrite 来提高模型表现原创 2024-04-30 11:35:25 · 1985 阅读 · 0 评论 -
【RAG 论文】RAFT:适用于 domain specific RAG 的 LLM
RAFT:适用于 domain specific RAG 的 LLM,结合了 SFT 和 RAG 的思想,实现了特定领域进行 QA 的好的效果。原创 2024-04-29 21:25:36 · 1959 阅读 · 1 评论 -
【IR 论文】DPR — 最早提出使用嵌入向量来检索文档的模型
DPR —— 经典地使用嵌入向量来检索文档的模型原创 2024-04-27 21:16:20 · 2028 阅读 · 0 评论 -
【RAG 论文】Chain-of-Note:为 RAG 引入 CoT 让模型生成阅读笔记来提高面对噪音文档和未知场景的鲁棒性
Chain-of-Note 提示:为 RAG 引入 CoT 让模型生成阅读笔记来提高面对噪声文档和未知场景的鲁棒性原创 2024-04-26 15:26:29 · 1103 阅读 · 0 评论 -
【RAG 论文】Adaptive-RAG:自适应地根据 query 难度来选择合适的 RAG 模型
Adaptive-RAG:自适应地根据 user query 的难度来选择合适的 RAG 模型来生成回复,从而在开销和准确度之间取得一个平衡原创 2024-04-25 21:55:09 · 1854 阅读 · 0 评论 -
【RAG 论文】CRAG — 可矫正的检索增强生成
CRAG —— 可矫正的检索增强生成原创 2024-04-25 16:49:15 · 1302 阅读 · 0 评论 -
【IR 论文】Google 对通过 prompt LLM 做 Query Expansion 的工作
本篇论文是 Google 对 LLM 使用 prompt 做 Query Expansion 的研究,文中做了需要实验,测试不同 prompt 的效果,以及在不同指标的具体表现原创 2024-04-23 21:49:13 · 1460 阅读 · 0 评论 -
【IR 论文】Query2doc — 使用 LLM 做 Query Expansion 来提高信息检索能力
Query2doc —— 使用 LLM 做 Query Expansion 来提高信息检索能力原创 2024-04-23 20:03:36 · 1703 阅读 · 0 评论 -
【KG+RAG 论文】医学知识图谱检索增强 LLM 的框架 —— KG-RAG
KG-RAG 框架:一个使用医学知识图谱检索增强 LLM 的框架原创 2024-04-23 15:24:12 · 1275 阅读 · 0 评论 -
【RAG 论文】WikiChat:从 WikiPedia 检索数据来提高 LLM 事实性的聊天机器人
WikiChat:从 WikiPedia 中检索数据来提高 LLM 的事实性的聊天机器人原创 2024-04-22 20:46:15 · 1144 阅读 · 0 评论 -
【RAG 论文】Self-RAG:引入自我反思的大模型 RAG 框架
Self-RAG:在 RAG 框架中引入自我反思机制,提高检索增强的效果原创 2024-04-21 21:56:01 · 3099 阅读 · 0 评论 -
【RAG 论文】Program-of-Thoughts(PoT)提示:让 LLM 生成 Python 代码来解决复杂的数字计算问题
Program-of-Thoughts(PoT):通过 prompt 让 LLM 生成 Python 代码来执行从而解决复杂的数学计算问题原创 2024-04-20 12:23:37 · 1363 阅读 · 0 评论 -
【RAG 论文】面向知识库检索进行大模型增强的框架 —— KnowledGPT
KnowledGPT:面向知识图谱检索进行大模型增强的框架工作原创 2024-04-19 20:53:05 · 1735 阅读 · 2 评论