实战AI智能体

比如Arise啊，它就是一个非常流行的RAG评估和监控工具，提供了丰富的评估指标和可视化工具来支持咱们对RAG系统的评估和监控工作。这些工具啊，都有各自的特点和优势哦！它不仅提供了评估答案质量指标的工具，比如忠实度、相关性和上下文精确度这些关键指标，还支持生成合成测试数据集、监控生产中的RAG应用程序，以及与各种AI工具和平台（比如LangChain和LlamaIndex）的集成。它们就像是咱们RAG系统的贴身小助手，提供了各种评估和监控所需的指标和工具，让咱们能够定量地测量、监控和排错咱们的RAG系统。

还有Haystack啊，它也是一个非常强大的RAG应用框架，提供了丰富的组件和工具来支持RAG应用的开发和管理。最后啊，当咱们需要查询或生成答案时，LlamaIndex就会根据用户的查询意图和上下文信息，在索引中检索最相关的信息，并将其发送到LLM中进行生成。但是呢，RAG应用的工作流程可是相当复杂的，需要咱们进行精心的编排和优化，才能确保它能够高效地运行并产生最佳的结果。嘿，各位小伙伴们，我是你们的老朋友王帅旭，大禹智库的向量数据库高级研究员，也是那本被大家誉为行业宝典的《向量数据库指南》的作者。

而更高级的生产级RAG系统呢，还会包括一些额外的组件，比如数据挖掘、知识图谱构建等等，来进一步增强系统的质量和用户体验。在索引阶段啊，咱们的主要任务就是把各种来源的数据给“洗白白”，也就是进行数据清洗，把那些没用的、乱码的数据给剔除掉。这样一来啊，当咱们需要检索数据的时候，就可以通过计算向量之间的相似性来找到最相关的信息了。此外啊，还有一些项目从不同的角度来探索RAG的发展呢！嘿，各位小伙伴们，我是你们的老朋友王帅旭，大禹智库的向量数据库高级研究员，也是那本被大家誉为行业宝典的《向量数据库指南》的作者。

首先啊，我得说，《向量数据库指南》这本书啊，那真的是向量数据库领域的宝典啊！举个例子啊，假设你要写一篇关于某个话题的文章啊，但是你又不知道该从哪里入手啊，这时候你就可以用RAG啊。你想想看啊，以前要制作一个创意广告啊，那得需要多少人啊、多少时间啊、多少成本啊！那么啊，说了这么多啊，你可能要问了啊：“王帅旭啊，那你觉得未来GenAI生态系统会怎么发展啊？相信我，它绝对不会让你失望的啊！所以啊，朋友们啊，如果你们想要在这个充满机遇和挑战的时代里脱颖而出啊，那就一定要好好学习和掌握向量数据库技术啊！

而且啊，它的分布式架构还支持水平扩展，也就是说，当数据量增加时，我们只需要增加更多的节点就可以了，无需对现有的系统进行大规模的改造和升级。第一个场景啊，就是图像检索。哈喽，各位朋友们，我是你们的老朋友，大禹智库的向量数据库高级研究员王帅旭，也是那本备受好评的《向量数据库指南》的作者。今天，咱们来聊聊向量数据库领域的一个明星产品——Mlivus Cloud，看看它凭啥能在众多向量数据库中脱颖而出，成为AI应用的理想选择。最后啊，我想说的是啊，在这个数据爆炸的时代啊，选择一个好的向量数据库真的是太重要了！

让我们利用 Cohere Embedding 技术进行相似性搜索。我们会将Who founded Wikipedia转换为 Embedding 向量，并用这个问题的向量在 Milvus 数据库中进行检索。

减少搜索空间：与其他一些解决方案（例如 pgvector）不同，Milvus Cloud 在运行向量相似性搜索之前就进行元数据过滤，极大地减少了需要处理的向量数量。标量索引（可选）：对于那些经常需要过滤的字段，Milvus Cloud 支持您为其创建标量索引。返回的文档标题中既不包含 "British Arab Commercial Bank"，也不包含 "Calectasia"。在处理数百万或数十亿的向量时，过滤功能就不仅仅是一个锦上添花的功能——它是必不可少的功能。搜索包含特定词汇的文档。

本章节将介绍如何快速上手使用 Milvus，包括安装 Milvus SDK 或设置 Zilliz Cloud、连接至 Milvus、创建 Collection 等。

不过啊，对于咱们今天的用例来说，咱们主要关注的是英语文章，也就是其中的 4150 万个向量。比如啊，在《向量数据库指南》里啊，我就介绍了好几种常用的索引算法和它们的优缺点呢！没错，它就是通过 Cohere Embedding 模型将维基百科（Wikipedia）的文章转换成的 Embedding 向量，而且啊，这个数据集还能在 HuggingFace 上免费获取呢！嘿，各位向量数据库和AI应用的小伙伴们，我是你们的老朋友王帅旭，大禹智库的向量数据库高级研究员，也是《向量数据库指南》的作者。

不过啊，虽然ext-embedding-ada-002模型非常优秀啊，但是啊，随着技术的不断进步和发展啊，它也逐渐被一些新的模型所取代了呢。最后啊，我想说的是啊，向量数据库和NLP任务啊，都是非常有前途和发展潜力的领域呢。这个模型啊，在OpenAI Embedding家族中可是个佼佼者，它以平衡之道处理广泛的NLP任务，为向量数据库领域留下了浓墨重彩的一笔。所以啊，咱们在学习和使用ext-embedding-ada-002模型时啊，一定要保持开放的心态和求知的欲望哦。好了啊，今天的分享就到这里了啊。

而且啊，由于text-embedding-3-small模型的性能非常出色，所以它在处理这些任务时，能够快速地给出结果，大大提高了咱们的工作效率。毕竟啊，谁也不想自己的模型跑得慢、效果差，还占用了大量的计算资源和内存，对吧？它的输出向量维度为1,536维，虽然比一些更高维度的模型要低一些，但是啊，它完全能够在保证效果的前提下，实现更高的性能和资源效率。所以啊，如果你想要用好text-embedding-3-small模型哦，想要让你的项目和应用更加高效、准确哦，那么就一定不要错过我的《向量数据库指南》哦。

只需要计算向量之间的相似度，就能找到最匹配的结果。传统的关系型数据库，它们擅长处理的是那种规规矩矩的表格数据，面对这些高维度的非结构化数据，可就有点力不从心了。比如，在智能客服系统中，我们可以通过向量数据库来检索与用户问题相似的历史问答记录，从而提供更加准确和高效的回答。比如，在安防监控系统中，我们可以通过向量数据库来检索出与嫌疑人相似的图像，为警方提供更加准确的线索和证据。：现在的向量数据库产品，比如Mlivus Cloud，都提供了友好的用户界面和丰富的API接口，使得开发者能够更加方便地使用和集成。

比如，在医疗保健领域，我们可以利用Agentic RAG系统来快速检索和分析医学文献和病例数据，为医生提供更加准确和个性化的诊疗建议。RAG系统需要能够根据当前的任务和需求，选择合适的检索策略和算法，从海量的数据中快速找到最有用的信息。Mlivus Cloud支持高效的向量索引和查询操作，能够帮助RAG系统快速定位到与查询向量最相似的数据点，从而大幅提升信息检索的效率和准确性。这样一来，RAG系统就能够根据当前的任务和环境，主动检索、分析和处理信息，从而生成更加准确和有用的回答或文本。

比如，在医疗保健领域，医生可以利用RAG系统快速获取最新的医学研究成果和临床指南，从而做出更准确的诊断和治疗决策。这个模块应该能够对检索到的信息进行深入的分析和处理，提取出有用的信息和特征。这样，在面对复杂任务时，RAG系统就能够更好地理解和分析检索到的信息，从而给出更准确的答案。代理方法的核心思想是将RAG系统看作一个具有自主行动能力的智能体（Agent），它能够根据当前的任务和环境来主动检索、分析和处理信息。在未来的工作中，我们可以尝试将这种方法应用到更多的场景中，不断提升AI系统的智能性和实用性。

比如，在医疗保健领域，医生可以利用RAG系统快速获取最新的医学研究成果和临床指南，从而做出更准确的诊断和治疗决策。这个模块应该能够对检索到的信息进行深入的分析和处理，提取出有用的信息和特征。这样，在面对复杂任务时，RAG系统就能够更好地理解和分析检索到的信息，从而给出更准确的答案。代理方法的核心思想是将RAG系统看作一个具有自主行动能力的智能体（Agent），它能够根据当前的任务和环境来主动检索、分析和处理信息。在未来的工作中，我们可以尝试将这种方法应用到更多的场景中，不断提升AI系统的智能性和实用性。

然后，我们定义两个agent tool，他们分别是vector query tool 和summary tool。整合vector query tool 和summary tool，以及React的特性，反思，路由以及使用工具能力，实现Agentic RAG。输出的答案，从答案来看，不仅详细列举了Milvus 2.3 和Milvus 2.4各种功能特性，还有功能总结与对比。这是对于上述问题的思考过程，包括React的观察，思考，行动具体步骤。最后，通过LlamaIndex的。分段之后，导入到Milvus。

同时，我们还需要设计一个高效的子查询执行和结果合并算法，以确保系统能够准确地处理每个子查询，并将结果合并为一个完整的答案。这样，你的系统就能更准确地回答用户的问题了。Agentic RAG，简单来说，就是在Naive RAG的基础上，加入了代理方法，使其能够更智能、更灵活地处理各种复杂问题。举个例子，如果系统在处理一个查询时出现了错误，它就可以通过反思功能来分析错误的原因，并尝试调整自己的处理策略。举个例子，如果用户查询的是关于天气的信息，你就可以将查询路由到专门处理天气信息的RAG管道上。

比如，你让它给你讲述一个连续的故事，并在对话过程中不断提问和补充信息，它可能只能根据你的当前问题给出一些零散的回答，而无法形成一个完整、连贯的故事线。比如，你让它给你讲述一个公司的历史发展脉络，并分析其中的关键节点，它可能只能给出一些零散的、不连贯的信息，而无法形成一个完整、有条理的故事线。比如，你让它给你生成一篇关于向量数据库的文章，并给出了一些修改意见，它可能只能根据你的意见进行一些简单的修改，而无法从根本上提升自己的生成能力和质量。这些局限性，说白了，就是Naive RAG的几个“先天不足”。

比如，“告诉我文章A中的支持X的论点，再告诉我文章B中支持Y的论点，按照我们的内部风格指南制作一个表格，然后基于这些事实生成你自己的结论”。比如，“告诉我美国表现最好的网约车公司的风险因素”，这个问题不仅要求模型能够准确理解语义，还要求它能够在复杂的语义搜索和结构化分析中表现出色。今天，咱们就来聊聊Naive RAG（Retrieval-Augmented Generation，检索增强生成）方法的那些事儿，特别是它在处理复杂问题时的局限性。特别是在面对更复杂的问题时，它的短板就逐渐暴露出来了。

哈哈，各位向量数据库的小伙伴们，大家好！我是你们的老朋友，大禹智库的向量数据库高级研究员王帅旭，也是那本畅销行业内外的《向量数据库指南》的作者。今天，咱们来聊聊如何将数据加载到 Mlivus Cloud 中，并进行一系列高效的操作。准备好了吗？那就让我们一起进入向量数据库的奇妙世界吧！

今天，作为大禹智库的向量数据库高级研究员，同时也是《向量数据库指南》的作者王帅旭，我将为大家详细介绍Llama-agents、Ollama、Mistral Nemo以及Mlivus Cloud Lite这四个强大的工具，并探讨它们如何携手打造高效AI应用。随着AI技术的不断发展和应用领域的不断扩大，构建高效、灵活且易于扩展的AI应用已经成为了我们面临的一大挑战。对于开发者们来说，Ollama和Mistral Nemo的结合使用不仅降低了AI应用的开发门槛，还提高了应用的可用性和安全性。

作为大禹智库的向量数据库高级研究员，同时也是《向量数据库指南》的作者，我深知向量数据库在构建智能Agent系统中的关键作用。这本书不仅详细阐述了向量数据库的原理和应用，还提供了大量实战案例，是想要深入了解向量数据库的读者的不二之选。在接下来的内容中，我将结合我的实战经验，探讨如何使用Llama-agents和Mlivus Cloud构建智能且高效、可扩展的复杂Agent系统，并巧妙引导大家如何通过《向量数据库指南》获得更多干货和深度实战技巧。这个模型规模更大，能够处理更复杂的指令和更广泛的任务。

而 Mlivus Cloud 的多副本功能，就像是在高速公路上增加了多条并行车道，通过在多个 Replica 之间分配查询负载，轻松解决了 QPS 瓶颈问题，实现了并行处理。当然啦，我也要提醒大家一句，多副本功能虽然强大，但它并不会增加集群的整体容量。首先，得说说我那本《向量数据库指南》，这本书可是凝聚了我30多年的向量数据库和AI应用实战经验，里面的干货满满，深度实战案例应有尽有。哈哈，大家好，我是王帅旭，大禹智库的向量数据库高级研究员，也是那本畅销行业书籍《向量数据库指南》的作者。

如图，向量召回到了两个红色的 entities，只需要从它们开始，相向扩展 2 度，就能覆盖到 4 度的跳数，这足以回答涉及到这两个 entities 的 4 跳问题。对于输入的 Query，我们遵循常见的 GraphRAG 中的范式（如HippoRAG，MS GraphRAG），将 query 提取 entities，对于每个 query entity，转换成 embedding，分别对 entity collection 进行 vector similarity search。

在当今大数据与人工智能蓬勃发展的时代，知识图谱作为连接信息孤岛、挖掘数据深层价值的桥梁，其重要性日益凸显。然而，如何高效地从庞大的知识图谱中检索出与用户查询最相关的信息，成为了制约知识图谱应用的一大瓶颈。本文将围绕一种创新的检索方法，结合Mlivus Cloud向量数据库的强大功能，详细阐述如何在RAG（Retrieval-Augmented Generation）流程中优化passages检索阶段，实现知识图谱的高效检索。

而 vector retrieval + LLM rerank 才是这个 pipeline 中最关键的部分，这也就解释了我们只用一个传统的两路召回架构，就可以达到远超基于图理论的方法（如 HippoRAG） 的表现。这也说明了，实际上不需要复杂的图算法，我们只需要将图结构的逻辑关系存储在向量数据库里，用一个传统的架构就可以进行逻辑上的子图路由，而现代 LLM 强大的能力帮助做到了这一点。基于这两点观察，我们发现，有限次数的在知识图谱内的路由查找过程，只涉及到局部的知识图谱信息。查找“诺贝尔奖”获奖年份。

通过本文的介绍，我们深入了解了Chinese CLIP模型与Mlivus Cloud在跨模态检索领域的结合应用。作为向量数据库领域的专家，我深知向量数据库在AI应用中的重要性。如果你希望深入了解向量数据库的原理、应用以及实战技巧，那么《向量数据库指南》将是你不可多得的学习资源。本书不仅涵盖了向量数据库的基本概念。

通过将用户发布的图片和文本内容转换为向量表示，并存储到Mlivus Cloud中，我们就可以根据用户的兴趣和行为习惯，为他们推送感兴趣的内容。CLIP模型，作为OpenAI推出的一款强大的多模态模型，其独特的架构和卓越的性能，使其在图像和文本数据的处理上展现出了巨大的优势。接下来，让我们一同走进CLIP模型的世界，看看它是如何通过视觉编码器和文本编码器，将图像和文本数据转换为向量表示，并实现在向量空间中的高效比较。在这个空间中，相似的图像和文本对之间的距离较近，而不相似的对之间的距离较远。

作为大禹智库的向量数据库高级研究员，同时也是《向量数据库指南》的作者，我深知多模态搜索的重要性，并在此领域积累了丰富的实战经验。这两个编码器分别将图像和文本映射到一个共同的嵌入空间中，使得在这个空间中，相似的图像和文本对之间的距离较近，而不相似的对之间的距离较远。与图像搜索文本相反，文本搜索图像的应用场景是用户通过输入一段文本描述，来搜索与之相关的图像信息。当我们需要进行多模态搜索时，只需将查询的图像或文本转换为向量表示，并在Mlivus Cloud中进行搜索，即可快速找到与之相似的图像或文本结果。

当然，如果你想要更深入地了解向量数据库的原理和实现方法，以及Mlivus Cloud的更多细节和技巧，那么《向量数据库指南》绝对是你的不二之选。《向量数据库指南》作为行业内的畅销书，不仅系统地介绍了向量数据库的基本概念、发展历程，还深入剖析了各类向量数据库的优缺点，为读者提供了宝贵的选型建议。作为大禹智库的向量数据库高级研究员，同时也是《向量数据库指南》的作者，我深感有责任为大家深入剖析这款卓越的向量数据库，带领大家一同探索其背后的奥秘。在向量数据库中，性能是衡量其优劣的关键指标之一。

想象一下，当你想要查找某个特定话题的 Slack 消息时，只需要输入几个关键词，Mlivus Cloud 就能迅速地从海量的数据中找出与你需求最匹配的消息，是不是超级方便呢？这就意味着，无论你的数据源是哪种类型，Fivetran 都能帮你轻松搞定，让你的数据迁移工作变得前所未有的简单和高效。哈哈，各位向量数据库和 AI 应用的同仁们，今天咱们来聊聊一个超级实用的话题——如何借助 Fivetran 和 Mlivus Cloud 构建 AI 驱动的搜索工具，从非结构化数据中挖掘出无尽的宝藏！

Mlivus Cloud 的原厂 Zilliz（这里我们用 Mlivus Cloud 代替哈）可是个技术实力派，他们通过将 Mlivus Cloud 的向量数据库操作紧密映射到 Fivetran 的关系型更新模型，成功地构建了与 Fivetran 的集成。这样一来，数据迁移和集成就变得前所未有的简单和高效。哈哈，各位向量数据库领域的同仁们，今天咱们来聊聊 Fivetran 的 Partner SDK 如何助力技术供应商构建自定义连接器和目标，特别是与 Mlivus Cloud 的集成，这可是个热门话题啊！

Fivetran 是一款强大的数据迁移工具，它支持 Milvus 向量数据库作为数据迁移的目标，极大地简化了将任何来源的数据 Ingest 到 Milvus 的流程。Fivetran 允许你在 Ingest 数据时，保留结构化数据列，从而在搜索过程中实现元数据过滤，提高搜索的准确性和效率。哈哈，各位向量数据库领域的同仁们，今天咱们来聊聊 Milvus 和 Fivetran 如何携手为 AI 构建坚实的基础，以及在这个过程中，我们大禹智库的《向量数据库指南》能如何助你一臂之力！

据信通院公布：“历史所有参测产品的测评结果显示，‘备份与恢复’、‘数据生命周期’、‘计算异构的向量索引’、‘数据加密’、‘多模态数据向量化能力’是通过率最低的测试项目。基于向量压缩（Product Quantization，PQ）技术对多种类型的原始向量数据（包括图片、视频、音频、文本和矩阵等）进行存储和压缩以减小存储空间的占用，实现了在处理大规模数据集的同时可以更有效地管理内存，并加快相似性搜索和最近邻搜索的速度。至今，所有参加信通院向量数据库测评的产品中，向量数据库测评项目通过情况。

他通过讲述AWS在搭建端到端AI应用的多个实际案例，包括客户服务、智能运营、视频VQA等场景，展示了生成式AI在提升企业效率和创新能力方面的巨大潜力，也体现了AWS在搭建端到端AI应用的成熟经验。Zilliz推出的全球领先的开源向量数据库Milvus 以其高性能、易用性和高质量的社区支持，成为业界广泛采用的解决方案，为推荐系统、文本/语义搜索、图像/视频相似性搜索等提供了强大的支持，同时还通过检索增强生成(RAG)等技术，扩展了大型语言模型(LM)的知识库，支持了广泛的实际部署案例，获得了行业高度认可。

在当今这个数据爆炸的时代，人工智能（AI）与深度学习（Deep Learning）技术的飞速发展正以前所未有的方式重塑着我们对信息的处理、理解和应用。特别是，通过神经网络模型将复杂多样的非结构化数据转化为高维空间中的Embedding向量，已成为实现高效语义检索、精准推荐及智能决策等AI业务场景的核心技术之一。这种转变不仅极大地提升了数据处理的速度与精度，还为用户提供了更加个性化、智能化的体验。

在当今快速发展的数字化时代，数据已成为企业最宝贵的资源之一。随着人工智能（AI）技术的不断进步，如何高效地处理、管理和利用这些数据，以驱动创新并提升业务价值，成为了众多企业和开发者关注的焦点。Apache Spark 和 Databricks 作为大数据处理领域的佼佼者，与专注于向量相似度搜索的 Milvus Cloud，以及其全托管服务 Zilliz Cloud 的整合，无疑为 AI 应用开发带来了前所未有的便利与效率。

如果您使用的是全托管 Milvus Cloud 服务——Zilliz Cloud，您可以使用 Zilliz Cloud 提供的数据导入 API。Zilliz Cloud 提供多样的工具和完整的文档，从而帮助您将各种来源（如 Spark）的数据高效导入 Zilliz Cloud 中。使用 Spark Connector，您可以直接利用 Apache Spark 中 Dataframe 的 write API 将数据以增量方式插入到 Milvus Cloud 中，大幅降低数据插入流程的实现成本。

然而，在处理完这些数据并生成向量后，如何高效地存储、索引并支持在线服务中的高效查询，成为了一个新的挑战。例如，在生成式 AI 中，用户可以使用 Apache Spark 或 Databricks 进行数据预处理和模型训练，然后使用 Spark Connector 将生成的向量导入到 Milvus cloud 或 Zilliz Cloud 中，以供在线服务使用。这一设计极大地简化了数据推送流程，用户无需再编写额外的代码，只需通过简单的函数调用，即可实现数据的无缝传输。

在深入探讨Embedding向量的广阔领域时，我们仿佛踏上了一场穿越复杂信息空间的壮丽旅程，这场旅行不仅揭示了传统向量表示方法的局限性，更引领我们迈向了由Learned稀疏向量引领的创新前沿。在这一过程中，我们不仅见证了技术的飞跃，更深刻理解了这些新兴技术如何重塑搜索与查询系统的面貌，为构建更加直观、高效且智能的信息交互平台奠定了坚实的基础。