大模型
文章平均质量分 93
star_w10086
这个作者很懒,什么都没留下…
展开
-
LLM与RAG的初识-6
随着技术的发展,Flare和Self-RAG等自适应检索方法,已经被提出并优化了RAG检索过程,使LLM能够主动判断检索的时机和内容,帮助提高检索信息的效率和相关性。通过迭代检索和自适应检索的应用,LLM可以更有效地处理复杂和多维度的问题,同时避免无效或不相关信息的干扰,从而提高生成内容的准确性和相关性。总的来说,在微调过程中,研究者可以根据特定的需求和数据格式定制模型,与预训练阶段相比,这降低了资源消耗,同时保留了调整模型输出风格的能力。不同的数据源提供了不同的知识粒度和维度,需要不同的处理方法。原创 2024-03-25 00:47:34 · 716 阅读 · 1 评论 -
LLM与RAG的初识-5
在RAG(检索增强生成)框架中,生成器扮演着至关重要的角色,它负责将检索到的信息转换成自然流畅的文本回答。在RAG中,生成器的输入不仅包括传统的上下文信息,还包括通过检索器获得的相关文本段落,这使得生成器能够更好地理解问题背后的上下文,并产生更丰富信息的回应。一般优化过程指的是包含(输入,输出)对的训练数据,旨在训练模型在给定输入x的情况下生成输出y的能力。在Cheng等人的工作中,采用了一种相对经典的训练过程,即给定输入x,检索相关文档z(论文中选择Top-1),整合(x,z)后,模型生成输出y。原创 2024-03-25 00:46:19 · 711 阅读 · 1 评论 -
LLM与RAG的初识-4
在RAG(检索增强生成)框架中,"R"代表检索。它在RAG管道中的作用是从庞大的知识库中检索出最相关的前k个文档。然而,构建一个高质量的检索器并非易事。原创 2024-02-27 09:18:03 · 977 阅读 · 0 评论 -
LLM与RAG的初识-3
模块化RAG结构打破了传统的原始RAG框架,提供了更大的多样性和整个过程的灵活性。通过先进的索引方法、更精细的检索策略和有效的后处理方法来优化RAG的性能。它采用不同的检索技术组合,适应不同的查询类型和信息需求,确保一致地检索到最相关和上下文丰富的信息。对于原始RAG而言,这种框架提供了适应性和丰富性。对检索到的信息进行重新排序,将最相关的信息放置在提示的边缘,以及通过压缩不相关的上下文、突出关键段落和减少总体上下文长度来提高RAG性能。这些改进涉及检索生成的质量、索引的优化、检索过程的优化等多个方面。原创 2024-02-27 09:09:36 · 1023 阅读 · 0 评论 -
LLM与RAG的初识-2
RAG的这种设计允许它从外部知识源检索相关信息,增强大型语言模型生成精确、准确且上下文丰富的答复的能力。其主要职责是从一个庞大的知识库中检索出与输入查询最相关的信息片段。检索器的目标是确保检索到的信息与用户查询高度相关,从而为生成器提供准确和丰富的输入。生成器的作用则是将检索器提供的信息片段整合成流畅、连贯的文本。它利用这些信息片段来指导、优化和丰富生成过程,从而生成既准确又具有信息量的文本。生成器通常是一个大型语言模型,它能够理解和使用检索到的信息片段来生成与用户查询紧密相关的文本。原创 2024-02-23 17:28:01 · 922 阅读 · 1 评论 -
LLM与RAG的初识-1
检索增强生成(Retrieval-Augmented Generation, RAG)是一种结合了信息检索和文本生成技术的自然语言处理(NLP)方法。这种方法利用大型语言模型(LLM)的生成能力,并结合了检索系统从大量数据中检索相关信息的能力。RAG的目标是生成既准确又具有信息量的文本,同时确保生成的文本与给定的查询或任务紧密相关。通过检索与输入查询最相关的信息片段,然后使用这些片段来指导、优化和丰富生成过程,RAG提高了生成文本的准确性和相关性。原创 2024-02-23 17:05:33 · 1131 阅读 · 1 评论 -
千帆杯-贺岁灵感模型--Preliminary attempt
生成一个可制作贺岁文案内容的精调模型(限定使用ERNIE Speed,通过对模型精调使其保持原有能力的同时,具备准确理解并执行文案创作中创作长度相关指令的能力)。原创 2024-02-20 11:41:09 · 2072 阅读 · 2 评论