Milvus Cloud——LangChain 分块实验和结果

最新推荐文章于 2024-09-27 10:58:53 发布
最新推荐文章于 2024-09-27 10:58:53 发布
阅读量104 收藏
点赞数
分类专栏： 《向量数据库指南》 文章标签： milvus langchain 人工智能 机器人 向量数据库 Milvus 维格云
LCHub
本文链接：https://blog.csdn.net/qinglingye/article/details/134306084
版权
本文介绍了LangChain在分块实验中的应用，测试了不同分块长度（32到512）和重叠（4到64）的策略。实验结果显示，分块长度为128时效果较好，能提取出相关文本片段，但过长的长度会导致特殊字符出现或返回整个section内容。这提示我们需要根据实际应用场景来选择合适的分块策略。
摘要由CSDN通过智能技术生成

LangChain 分块实验和结果

接下来就是激动人心的时刻了！让我们来看看分块实验的结果。

  • 测试 LangChain 分块

以下代码块展示了如何运行我们的实验函数。我添加了五个实验，这个教程测试的分块长度从 32 到 64、128、256、512 不等，分块 overlap 从 4 到 8、16、32、64 不等的分块策略。为了测试，我们遍历元组列表并调用上面写的函数。

chunking_tests = [(32, 4), (64, 8), (128, 16), (256, 32), (512, 64)]for test in chunking_tests:
    test_langchain_chunking(path, headers_to_split_on, test[0], test[1])

以下为输出结果。接着让我们来仔细观察每一组实验的输出结果。我们使用的测试问题是“What makes a distinguished engineer?”

了解本专栏 订阅专栏 解锁全文 超级会员免费看
ModaHub魔搭社区
关注
专栏目录
订阅专栏
Milvus Cloud——LangChain 分块简介
LCHub低代码社区
11-13 287
如前所述，此函数需要一些参数用于档导入和分块。我们需要提供文档的路径、要分割的标题（分割器）、分块大小、分块重叠（chunk overlap）以及我们是否希望通过删除 Collection 来清理数据库。简而言之，通过编写一个函数并设置其参数来加载文档并对文档进行分块，该函数打印结果为分块后的文本块。然后，MarkdownHeader 和 RecursiveCharacter 文本分割器会根据标题（标题分割器）或一组预先选定的字符分隔符（递归分割器）分割 markdown 文档中的文本。
《向量数据库指南》——TruLens + Milvus Cloud构建RAG深入了解性能
LCHub低代码社区
11-18 308
top-K 的增加也改善了准确性(0.71，平均 0.62)和答案相关度(0.76，平均0.68)。但是更高的 top-K 意味着更高的 token 使用成本（每次调用平均需要额外使用 590 个 token）。text-embedding-ada-002 在准确性(0.72，平均 0.60)和答案相关度(0.82，平均0.62)上优于 MiniLM Embedding 模型。分块大小越大，包含与输入问题无关的文本越多，检索准确性越低。也就是说，LLM 返回结果时，分块大小越大，可以获得的上下文越多。
《向量数据库指南》——TruLens + Milvus Cloud 构建RAG案例
LCHub低代码社区
11-17 293
( https://colab.research.google.com/github/truera/trulens/blob/main/trulens_eval/examples/expositional/vector-dbs/milvus/milvus_evals_build_better_rags.ipynb） 中所有代码。在此过程中，我们构建一系列具有不同配置的 RAG，并评估每种选择配置的性能，得出最佳配置。本例中，我们使用最大值衡量相关度，大家在上手过程中也可使用其他指标，如平均值或最小值。
5 分钟内搭建一个免费问答机器人：Milvus + LangChain
ZILLIZ
12-21 1884
具体而言，在 RAG 中，我们可以使用可靠可信的自定义数据文本，如产品文档，随后从向量数据库中检索相似结果。然后，将准确的文本答案作为“上下文”和“问题”一起插入到“Prompt”中，并将其输入到诸如 OpenAI 的 ChatGPT 之类的 LLM 中。我们搭建的聊天机器人是个低成本的问答机器人，因为在召回、评估和开发迭代的过程中不需要调用大语言模型 API。必须要强调的是，该问答机器人的成本很低，因为我们在召回、评估和开发迭代的过程中不需要调用大语言模型 API。其中第一个文本块中包含了问题的答案。
一文读懂：大模型RAG
weixin_42029738的博客
06-11 558
本文概述 RAG 的核心算法，并举例说明其中的一些方法。RAG融合是一个强大的功能，能够提高RAG应用的语义搜索效率。通过使用语言模型生成多个查询并对搜索结果进行重新排序，RAG融合可以呈现更丰富多样的内容，并提供了一个额外的层次，用于调整应用。此外，RAG融合还可以实现自动纠正、节省成本以及增加内容多样性。但是，需要注意一些权衡，比如潜在的延迟问题、自动纠正的挑战以及成本影响。对于依赖常见概念但可能出现内部行话或重叠词汇的应用来说，RAG融合尤其有用。
一文读懂RAG
wangziling123456的博客
04-26 2027
在 RAG 系统中，我们通常需要进一步处理检索到的内容。另一个优势是将信息检索过程转化为LLM可以理解的指令，从而提高知识检索的准确性，并使LLM能够生成上下文连贯的响应，从而提高RAG系统的整体效率。[88] 较大的块可以捕获更多的上下文信息，但也会产生更多的噪声，需要更长的处理时间和更高的成本。例如，对于某些特定类型的查询，可以选择特化的检索模块，或者针对特定的生成任务，选择一个适合该场景的生成器。粗粒度检索单元提供更相关的信息，但也可能包含冗余的内容，这可能会分散下游任务中检索器和语言模型的注意力。
跟着DW学习大语言模型-使用Streamlit构建一个RAG应用
白水空空
06-26 918
现在我们已经实现了通过上传本地知识文档，然后将他们保存到向量知识库，通过将查询问题与向量知识库的召回结果进行结合输入到 LLM 中，我们就得到了一个相比于直接让 LLM 回答要好得多的结果。将介绍 LangChain 中的储存模块，即如何将先前的对话嵌入到语言模型中的，使其具有连续对话的能力。例如，我们向 LLM 提问一个问题（answer），RAG 从各种数据源检索相关的信息，并将检索到的信息和问题（answer）注入到 LLM 提示中，LLM 最后给出答案。另外，也有助于缓解大模型的“幻觉”问题。
知识增强LLM
qq_32907491的博客
08-04 1084
检索增强 LLM ( Retrieval Augmented LLM )，简单来说，就是给 LLM 提供外部数据库，对于用户问题 ( Query )，通过一些信息检索 ( Information Retrieval, IR ) 的技术，先从外部数据库中检索出和用户问题相关的信息，然后让 LLM 结合这些相关信息来生成结果。下图是一个检索增强 LLM 的简单示意图。OpenAI 研究科学家 Andrej Karpathy 前段时间在微软 Build 2023 大会上做过一场关于 GPT 模型现状的分享。
《Milvus Cloud向量数据库指南》——Milvus Cloud——Ivy.ai业务创新的坚实基石
LCHub低代码社区
08-07 672
综上所述，Milvus Cloud作为Ivy.ai的向量数据库解决方案，为其带来了显著的业务价值。从提升可靠性、增强可扩展性到大幅提升性能，Milvus Cloud以其实力证明了自己是Ivy.ai业务创新的坚实基石。展望未来，随着技术的不断进步和市场的不断变化，Ivy.ai将继续依托Milvus Cloud的强大支持，不断创新、追求卓越，为客户提供更加优质、高效的服务体验。
Milvus Cloud——Agent 框架工作方式
LCHub低代码社区
11-10 292
使用 GPT-4 来生成任务、确定优先级并执行任务，同时使用插件进行互联网浏览和其他访问。AutoGPT 使用外部记忆来跟踪它正在做什么并提供上下文，使其能够评估其情况，生成新任务或自我纠正，并将新任务添加到队列中，然后对其进行优先级排序。也是采取类似工作的方式。Agent 与一般的 LLM 最大的不同点在于，LLM Agent 通常根据任务的总体目标来去指定以及编排子目标，而 LLM 通常是作为一个被调用的工具，在一个工作流中担任一个具体任务的执行者。
Milvus Cloud——LLM Agent 现阶段出现的问题
LCHub低代码社区
11-11 509
由于一些 LLM（GPT-4）带来了惊人的自然语言理解和生成能力，并且能处理非常复杂的任务，一度让 LLM Agent 成为满足人们对科幻电影所有憧憬的最终答案。上述问题随着大家对于 Agent 的了解开始浮出水面，这些问题一部分需要 LLM 自身来解决，另一部分也需要 Agent 框架来进行解决，通用的 Agent 仍需进一步打磨。记忆模块的策略没有给 LLM 某些关键的信息而导致执行失败。LLM 由于幻觉问题错误使用工具，或者让事情半途而废。Agent 会在处理某一个任务上陷入一个循环。
快速实现AI搜索！Fivetran 支持 Milvus 作为数据迁移目标
ZILLIZ
09-26 640
Fivetran 现已支持 Milvus 向量数据库作为数据迁移的目标，能够有效简化 RAG 应用和 AI 搜索中数据源接入的流程。数据是 AI 应用的支柱，无缝连接数据是充分释放数据潜力的关键。非结构化数据对于企业搜索和检索增强生成（RAG）聊天机器人等 AI 应用有着巨大价值。随着数据量的增长，像 Milvus 这样的可扩展向量数据库对于高效搜索组织信息至关重要。用于搜索的数据通常存储在各种地...
Milvus - 从数据库到 Partition Key 实现多租户
fenglingguitar的专栏
09-24 956
选择适合的多租户策略取决于应用场景、租户数量、数据隔离需求以及搜索性能要求。对于租户数量较少、对隔离要求高的场景，面向数据库或每个租户一个集合的方案更为合适；而对于大规模、多租户场景，基于 Partition Key 的方法则能够在保持良好性能的同时轻松管理海量租户。通过合理的多租户策略设计，开发者可以利用 Milvus 构建高效的 SaaS 服务，满足不同客户的需求。
Milvus - 架构设计详解
fenglingguitar的专栏
09-24 1295
Milvus 通过其共享存储架构、无状态工作节点和多层设计，实现了大规模密集向量数据的高效处理和查询。其灵活的架构不仅支持多种向量搜索库，还能根据不同硬件环境进行优化，确保性能的最大化。通过合理利用 Kubernetes 进行部署，Milvus 可以轻松应对各种数据量和查询场景的需求。
Milvus - 四种一致性级别与应用场景解析
fenglingguitar的专栏
09-24 1023
在分布式数据库系统中，一致性是指确保系统中的每个节点或副本在任意时刻都能获取相同的数据视图。在 Milvus 这样一个存储与计算分离的架构中，一致性尤为重要。Milvus 通过一套复杂的时钟机制和时间戳管理，保证用户查询时的数据准确性。Milvus 的一致性机制为用户提供了灵活的选项，让用户可以根据自身对数据准确性和查询速度的需求，自行选择最适合的方案。通过合理设置 Guarantee Timestamp，用户可以在强一致性和快速响应时间之间找到平衡，确保应用在不同场景下都能达到最优性能。
Milvus - 比特集机制及其应用场景详解
fenglingguitar的专栏
09-24 845
比特集（Bitset）是由 0 和 1 组成的位数组。每一个比特（bit）代表布尔值true或false，即 1 或 0。在 Milvus 中，比特集用于表示数据的状态，能够紧凑、高效地存储和处理布尔逻辑操作。0：通常表示“无效”或“未满足条件”。1：通常表示“有效”或“满足条件”。比特集是一种高效的工具，在 Milvus 中用于实现属性过滤、数据删除和时间旅行查询等功能。通过其紧凑的存储方式和高效的布尔逻辑操作，比特集可以帮助系统快速处理大规模数据查询和更新操作。
【大模型从入门到精通19】开源库框架LangChain LangChain文档加载器1
kaggle expert，全球排名前1000，清华计算机研究生，兴趣算法工程
08-13 1269
在数据驱动的应用领域，特别是涉及对话界面和大型语言模型（LLM）的应用中，从各种来源高效加载、处理并与数据进行交互的能力至关重要。这些加载器擅长处理来自公共源的数据，如 YouTube、Twitter 和 Hacker News，同时也适用于来自专有源的数据，如 Figma 和 Notion。保存清洗后的文本：可选地，脚本可以将清洗和分词后的文档文本保存到文件中。这个扩展的代码提供了一个更全面的示例，展示如何从加载和清洗文本到基本分析和处理特殊情况，对 PDF 文档进行程序化的处理。
[论文精读]AI-Guardian: Defeating Adversarial Attacks using Backdoors
最新发布
m0_52911108的博客
09-27 1135
本文提出了AI-Guardian框架，本质是让模型预测结果受到后门控制，而很难被攻击者操纵，从而抵御对抗攻击。在模型训练阶段，AI-Guardian会针对原始训练样本生成一批后门样本（经过后门处理的样本），按标签双射关系为后门样本分配对应标签，实现后门注入；在模型预测阶段，AI-Guardian先对输入数据进行后门处理，然后将其输入到模型，根据模型输出结果、标签双射关系返回对输入数据真实标签的预测结果。
langchain 和 milvus
10-19
Langchain和Milvus都是基于人工智能技术的软件工具，具有不同的功能和应用场景。 Langchain是一种自然语言处理平台，旨在帮助用户应对语言交流的各种挑战。它提供了丰富的自然语言处理功能，包括文本翻译、智能问答...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ModaHub魔搭社区

共建低代码生态

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值