RAG相关模型推荐

最新推荐文章于 2024-08-04 10:23:58 发布
最新推荐文章于 2024-08-04 10:23:58 发布
阅读量369 收藏
点赞数 1
文章标签： llama
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cm2010_03_31/article/details/135989886
版权
本文介绍了在HuggingFace平台上可用的各种AI模型，包括Embedding、Rerank和LLM模型，如BAAI和THUDM的版本。同时，讨论了向量数据库如faiss和milvus，以及langchain推荐的检索方法max_marginal_relevance_search_by_vector的使用特点。
摘要由CSDN通过智能技术生成

下面的模型都能在huggingface上找到

Embedding模型：

/BAAI/bge-base-zh-v1.5

/BAAI/bge-base-en-v1.5

Rerank模型：

/BAAI/bge-reranker-base

LLM模型：

/THUDM/chatglm3-6b-32k

/deepseek/deepseek-llm-7b-chat

向量数据库：

faiss：非常简单，迁移非常方便，不用额外安装数据库，结合langchain直接在代码中就能管理数据库

使用langchain推荐的检索方法为：max_marginal_relevance_search_by_vector

milvus：非常强大，安装数据库比较麻烦，需要单独维护。

未来已存在
关注
大模型微调和RAG的应用场景
herosunly的博客
06-19 8万+
本文主要介绍了大模型微调和RAG的应用场景，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 大模型微调 vs. RAG
RAG模型评估方法：衡量模型效果的标尺
程序员光剑
04-27 752
1. 背景介绍 1.1 大语言模型与知识的挑战 近年来，随着深度学习的飞速发展，大语言模型（LLMs）如 GPT-3、LaMDA 和 Jurassic-1 Jumbo 等在自然语言处理领域取得了显著的成果。这些模型能够生成流畅、连贯的文本，并在问答、翻译、摘要等任务中表现出色。然而，LLMs
(八)、基于 LangChain 实现大模型应用程序开发 | 基于知识库的个性化问答 (检索 Retrieval)
weixin_43646592的博客
11-20 1730
基于 LangChain 实现大模型应用程序开发 | 基于知识库的个性化问答 (检索 Retrieval)
#LLM入门 | langchain | RAG # 4.5_检索(Retrieval)
weixin_45312236的博客
05-22 1969
MMR 算法可以实现兼具相关性与多样性的检索结果，避免信息冗余。定义元数据字段可以进行针对性过滤，提升匹配准确率。SelfQueryRetriever 模块通过语言模型自动分析语句，提取查询字符串与过滤条件，无需手动设置，使检索更智能。ContextualCompressionRetriever 实现压缩检索，仅返回与问题相关的文档片段，可以大幅提升效率并节省计算资源。除向量检索外，还简要介绍了基于 SVM 和 TF-IDF 的检索方法。
使用LangChain访问个人数据第五章-检索
最新发布
weixin_42553583的博客
08-04 880
今天的课程涵盖了向量检索的多项新技术，让我们快速回顾关键要点：MMR 算法可以实现兼具相关性与多样性的检索结果，避免信息冗余。定义元数据字段可以进行针对性过滤，提升匹配准确率。SelfQueryRetriever 模块通过语言模型自动分析语句，提取查询字符串与过滤条件，无需手动设置，使检索更智能。ContextualCompressionRetriever 实现压缩检索，仅返回与问题相关的文档片段，可以大幅提升效率并节省计算资源。
使用langchain与你自己的数据对话(四)：问答(question answering)
weixin_42608414的博客
08-01 6498
今天我们介绍了如何通过答链RetrievalQA，来检索向量数据库并回答用户的问题。其中我们介绍了几种RetrievalQA检索向量数据库的工作方式，也就是chain type方式，其实默认方式是stuff，除此之外还有map_reduce，refine, map_rerank等几种方式，它们都有各自的优缺点。同时我们还介绍了通过使用prompt模板，可以让LLM返回格式化的结果。希望今天的内容对大家学习langchain有所帮助!
最大边界相关法（Maximal Marginal Relevance）的总结
Eliza1130的专栏
04-18 1万+
MMR（Maximal Marginal Relevance）是一种重新确定文档序值的方法。 具体公式如下： 由上述公式可以看出sim(Q,di)代表的是di的相关性，而sim(di,dj)代表的是di的冗余性； 而MMR的核心，即在权衡这两种性质，即redundancy=cost,relevance=benefit 具体重定序的算法如下： 解释： 为了得到最初的k个文
不用苦苦寻觅！这是大模型检索增强生成（RAG）最全综述！
机器学习社区
02-03 1万+
是什么：RAG 是一种通过检索外部知识库来获得额外语料，并使用 ICL（In-Context-Learning，上下文学习）来改进 LLM 生成效果的范式。为什么：LLM 受训练语料的限制，无法感知最新的内容，比如 LLM 训练后的新闻；此外，LLM 也容易产生幻觉，生成不正确的内容。如何做：当用户发起一个生成请求时，首先基于用户的 prompt 来检索相关信息，然后这些信息会被组合到 prompt 中，为生成过程提供额外的上下文，最后将组合后的 prompt 输入 LLM 生成结果。
（13-1）RAG基础知识介绍：RAG模型概述
码农三叔
02-03 3446
RAG（Retrieval-Augmented Generation）是一种自然语言处理模型架构，旨在结合检索和生成两个关键的NLP（Natural Language Processing）任务。RAG模型可以应用于诸如问答系统、文本摘要、对话系统等多个领域。在本章的内容中，将详细讲解RAG的基础知识，介绍RAG技术的原理和架构知识，为读者步入后面知识的学习打下基础。
RAG模型选择：根据任务需求选择合适的模型
AI架构设计之禅
05-02 152
这个函数接受一个问题作为输入,利用RagModel和生成答案。
大模型-大模型RAG应用基础认知视频
03-16
而在RAG中，首先对问题进行检索，找出与问题相关的文本片段，然后将这些片段的信息融合到生成模型中，使得模型能够利用额外的背景知识。 3. **工作流程**： - **检索阶段**：对输入问题执行全局检索，找到最相关的...
基于LangChain+LLM的本地知识库问答：从企业单文档问答到批量文档问答
热门推荐
结构之法 算法之道
07-05 10万+
本文则侧重讲解 1 什么是LangChain及langchain的整体组成架构 2 解读langchain-ChatGLM项目的关键源码，不只是把它当做一个工具使用，因为对工具的原理更了解，则对工具的使用更顺畅 3 langchain-ChatGLM项目的升级版langchain-chatchat
摘要抽取算法——最大边界相关算法MMR(Maximal Marginal Relevance) 实践
sjyttkl的专栏
06-22 1649
NLP(自然语言处理)领域一个特别重要的任务叫做——文本摘要自动生成。此任务的主要目的是快速的抽取出一篇文章的主要内容，这样读者就能够通过最少的文字，了解到文章最要想表达的内容。由于抽取出来的摘要表达出了文章最主要的含义，所以在做长文本分类任务时，我们可以采用文本摘要算法将长文本的摘要抽取出来，在采用短文本分类模型去做文本分类，有时会起到出奇的好效果。 文本摘要自动生成算法 文本摘要抽取算法主要分为两大类： 一种是生成式：生成式一般采用的是监督式学习算法，最常见的就是sequence2sequence
开发RAG应用，你必须知道的7个Embedding模型
python12345_的博客
06-28 2055
在自然语言处理（NLP）领域，Embedding模型是将文本数据转化为数值向量的核心技术，从而让计算机能够便捷地衡量文本间的语义关联，这种表示法已成为多种基础NLP任务的核心，如文本相似度判定、语义搜索、信息检索、文本重新排序、聚类以及作为下游任务的特征输入。
【AI开发】RAG基础
qq_44899247的博客
06-17 544
【代码】【AI开发】RAG基础。
杀疯了！国产大模型DeepSeek-V2横扫市场： AI领域的黑马，极致性能，低成本霸主
m0_72621177的博客
05-14 296
DeepSeek-V2以其强大的性能和经济实用的特性，犹如一匹黑马，迅速赢得了众多业内人士的关注。✅ 英文综合能力（MT-Bench）处于第一梯队，英文综合能力（MT-Bench）与最强的开源模型 LLaMA3-70B 处于同一梯队，超过最强 MoE 开源模型 Mixtral8x22B。✅ 中文综合能力（AlignBench）开源模型中最强，与 GPT-4-Turbo，文心 4.0 等闭源模型在评测中处于同一梯队。✅ 在 AlignBench 中排名前三，超过 GPT-4，接近 GPT-4-Turbo。
LangChain实践-Data Connection（数据连接）之Vector Store(向量数据库）
lhx17673139267的博客
08-02 914
存储和搜索非结构化数据的最常见方法之一是将其嵌入并存储生成的嵌入向量，然后在查询时嵌入非结构化查询并检索与嵌入查询“最相似”的嵌入向量。向量存储负责为您存储嵌入数据并执行向量搜索。向量数据库是一种将数据存储为高维向量的数据库，高维向量是特征或属性的数学表示。每个向量都有一定数量的维度，根据数据的复杂性和粒度，可以从数十到数千不等。向量通常是通过对原始数据(如文本、图像、音频、视频等)应用某种转换或嵌入函数来生成的。嵌入函数可以基于各种方法，如机器学习模型、词嵌入和特征提取算法。
摘要抽取算法——最大边界相关算法MMR(Maximal Marginal Relevance)
lzay的博客
08-09 1526
用途 快速的抽取出一篇文章的主要内容，这样读者就能够通过最少的文字，了解到文章最要想表达的内容 方法 一种是生成式：生成式一般采用的是监督式学习算法，最常见的就是seq2seq模型，需要大量的训练数据。 生成式的优点是模型可以学会自己总结文章的内容，而它的缺点是生成的摘要可能会出现语句不通顺的情况。 另一种是抽取式：常见的算法是 textrank，MMR(Maximal Marginal Relevance)，当然也可以采用深度学习算法。 抽取式指的摘要是从文章中抽出一些重要的句子，代表整篇文章的内容。 抽
学习rag大模型关于java
04-23
3. 学习RAG模型原理和实现：了解RAG模型的原理和实现方式是学习RAG大模型与Java相关内容的核心。可以阅读相关论文、博客文章或参考开源实现来深入了解RAG模型的工作原理和实现细节。 4. 实践项目：通过实践项目来...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值