《向量数据库指南》——揭秘「 B 站最火的 RAG 应用」——Milvus Cloud是如何炼成的

最新推荐文章于 2024-09-01 16:23:20 发布
最新推荐文章于 2024-09-01 16:23:20 发布
阅读量140 收藏
点赞数
分类专栏： 《向量数据库指南》 文章标签： Milvus Cloud Milvus 向量数据库 ModaHub 低代码 LCHub
LCHub
本文链接：https://blog.csdn.net/qinglingye/article/details/136501282
版权
本文介绍了如何利用大模型、特别是gpt4-turbo构建一个历史资料检索应用RAG系统，该系统能精确引用史料出处并过滤无关信息。通过分析数据特性，优化文本方案，提高召回率和精度，项目已开源在GitHub。同时，文章提到了Zilliz Pipeline服务，它简化了云上向量数据库的管理和计算资源需求，支持与不同LLM配合使用。
摘要由CSDN通过智能技术生成


 

04.

大模型的选择


 

在我们提供了尽可能高质量的史料信息后，就到了大模型最后的阅读理解阶段，我们一开始采用的是 gpt-35-turbo-1106，发现在这个问题上表现并不是很理想（可能是由于语料都是比较碎片化的段落），非常出现容易幻觉。在经过了一定的prompt工程后（例如：告诉它需要忠实地参考原文），但最终还是无法达到期待的效果。刚好 OpenAI 年底发布了更便宜的 gpt4 版本 gpt4-turbo-1205, 无论是对于格式的要求，以及对于幻觉的克服，都有了显著的提升，我们选择了gpt4-turbo 作为最后的 reader。


05.

为段落加上引用


了解本专栏 订阅专栏 解锁全文 超级会员免费看
ModaHub魔搭社区
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
如何用个人数据Milvus Cloud知识库构建 RAG 聊天机器人？（上）
LCHub低代码社区
10-27 360
我们演示了网页爬取的过程，创建了知识库，包括将文本转换成向量存储在 Milvus Cloud 中。然后，我们演示了如何提示用户进行查询，将查询转化为向量，并查询向量数据库。在本项目中，我们使用了一个单独的 notebook 将数据导入到 Milvus Cloud，而不是从 Towards Data Science 进行网页抓取。提取文章的每个段落，并使用我们的 HuggingFace 模型获得对应的向量。请注意其中的 embedding，这些数据表示了文档向量，也就是我们根据文章段落生成的向量。
基于Milvus向量数据库实现检索增强生成（RAG）
MoyiTech
05-12 1808
RAG利用了向量数据库和大型语言模型（LLM）的能力来提升回答质量。在数据的准备过程中，通过特定的加载器将各种模态的信息进行导入，由于各种信息的大小参差不齐，故需要对其进行切片处理，在将每个部分进行切片后，embedding到特定维度的向量，将源数据喝向量一起存储到向量数据库中。常见的向量数据库引擎有：FAISS、Chromadb、ES、Milvus，本文采用Milvus进行实践在调用的过程中，先将用户的提问Question进行embedding（1.直接进行embedding;
轻松掌握：Milvus向量数据库部署与RAG使用技巧
成长是我们永恒不变的主旋律
06-11 1547
轻松掌握：Milvus向量数据库部署与RAG使用技巧
如何用 RAG 技术玩转文档问答？Milvus × 网易有道 QAnything 为你揭秘！
ZILLIZ
03-12 293
用户的任何内容，以任意的形式存在，比如各种格式的文档、音频、数据库等，都可以在 QAnything 的支持下，变成可以针对其内容进行问答的使用方式。Zilliz AI 初创计划是面向 AI 初创企业推出的一项扶持计划，预计提供总计 1000 万元的 Zilliz Cloud 抵扣金，致力于帮助 AI 开发者构建高效的非结构化数据管理系统，助力打造高质量 AI 服务与运用，加速产业落地。RAG 和向量数据库的结合，能够有效解决幻觉、时效性差、专业领域知识不足等阻碍大模型应用的核心问题。
基于 Milvus + LlamaIndex 实现高级 RAG
ZILLIZ
05-22 1123
随着大语言模型（LLM）技术的发展，RAG（Retrieval Augmented Generation）技术得到了广泛探讨和研究，越来越多的高级 RAG 检索方法也随之被人发现，相对于普通的 RAG 检索，高级 RAG 通过更深化的技术细节、更复杂的搜索策略，提供出了更准确、更相关、更丰富的信息检索结果。如果检索需要精确的关键词匹配，这种检索技术很有益处。生成回复质量面临着幻觉挑战，即 LLM 生成的答案并没有基于所提供的上下文，和上下文不相关，或者生成的回复存在着包含有害或歧视内容的潜在风险。
《向量数据库指南》——一起来认识向量数据库Milvus Cloud GPU-Cagra 索引
LCHub低代码社区
07-17 903
在 IVFPQ模式下，CAGRA会在数据集上先 build 一个IVFPQ索引，得益于PQ索引的量化特点，并不会明显占用太多的显存，然后使用IVFPQ索引对数据集中的每一个点执行 search 任务，将IVFPQ索引找到的近似的最近邻居作为邻接点，从而完成原始图的构建。Cagra首先使用IVFPQ或者NN-DESCENT来构建一个原始图，原始图中，每一个节点的邻居节点的个数degree较多，CAGRA在原始图的基础上，再对所有的邻接边进行重要性排序，剪掉不重要的邻边。为此，CAGRA采用了全新的建图方式。
《向量数据库指南》——一键部署RAG神器：Milvus Cloud数据智能新纪元
LCHub低代码社区
08-15 58
本教程旨在引导您通过一系列步骤，利用Milvus向量数据库、Ray Data分布式计算框架、Amazon S3云存储服务以及Zilliz Cloud全托管向量数据库服务，来设置并优化一个高效的RAG（Retrieval-Augmented Generation）工具。S3提供了高度可扩展的对象存储服务，非常适合存储和检索任意类型的数据，包括向量数据。在将数据导入Milvus之前，您可能需要先将其存储在Amazon S3中，以便于管理和访问。完成注册流程后，您将能够访问AWS管理控制台。
《Milvus Cloud向量数据库指南》——Gecko+VectorDB+Gemini构建多模态RAG应用
LCHub低代码社区
07-29 863
在深入探讨如何利用Gecko、VectorDB、Gemini等先进技术构建多模态RAG（Retrieval-Augmented Generation）应用的过程中，我们首先需要从理论层面出发，理解RAG模型的核心价值与潜在应用场景，再逐步深入到技术实现的细枝末节，最终展现这一领域在Google Cloud AI/ML解决方案框架下的完整图景。
《向量数据库指南》——Milvus Cloud生成器增强：RAG Pipeline的深度优化与扩展
LCHub低代码社区
07-09 123
通过对自我反馈机制和查询路由的深入探讨，我们不难发现，RAG pipeline的增强与优化是一个多维度、多层次的过程。从提升信息质量的自我反馈机制，到提高处理效率的查询路由策略，每一个环节都蕴含着巨大的创新空间和应用潜力。未来，随着NLP技术的不断进步和AI应用场景的不断拓展，RAG系统有望在更多领域发挥重要作用。同时，我们也需要不断探索新的优化方法和技术手段，以应对更加复杂多变的需求挑战。例如，结合强化学习技术优化检索算法和生成模型；利用图神经网络等先进模型实现多源知识的深度融合与推理；
《向量数据库指南》——揭秘「 B 站最火的 RAG 应用」是如何炼成的
LCHub低代码社区
03-10 96
二十四史是从黄帝记载到明代崇祯十七年（1644）的二十四部史书的合称，如果能做一个关于二十四史的问答项目也是一个很有趣的事，毕竟喜欢历史的朋友也往往对一些史实知道个粗略，想去了解一些更加详细的细节。当然，对 RAG 的质量评测通常是一个很复杂的系统工程，尤其是在缺乏数据标注的情况下，所以我们采用的是针对个例具体分析的方法来进行调优，根据“奥卡姆剃刀”法则，如果我们针对的个例的调优是简洁优雅的情况下，那针对大部分其他案例都会带来改善，我们先试着把这个问题给处理好。经过以上的初步分析，我们决定先从白话文入手。
智能未来：低代码与AI如何重塑企业应用开发
HUIBUR的博客
08-30 678
低代码平台与AI技术的结合，正在重新定义企业应用开发的方式。通过简化开发流程、赋予应用智能化功能，低代码与AI的结合极大地提高了企业的开发效率、降低了开发成本，并为各行业带来了更灵活、更个性化的智能应用解决方案。
低代码表单 FormCreate 中组件的生成规则详解
xaboy的博客
08-30 1233
在 FormCreate 中，组件生成规则定义了如何通过 JSON 配置生成表单组件。了解和使用这些规则，您可以灵活地创建和控制各种表单元素。
低代码开发与数据库：数字化转型的新引擎
码途探索
09-01 999
在当今这个快速变化的时代，技术的革新不断推动着企业向数字化转型迈进。随着云计算、大数据、人工智能等技术的飞速发展，企业对于软件开发的需求日益增长，同时对开发效率和成本控制的要求也越来越高。在这样的背景下，低代码开发平台应运而生，它以其独特的优势，正在逐步改变传统的软件开发模式。低代码开发平台通过提供图形界面和配置化操作，允许开发者快速构建应用程序，而无需编写大量代码。这种开发方式不仅提高了开发效率，降低了成本，还使得非专业开发者能够参与到软件开发中来，推动了跨部门、跨角色的协同工作。
微信小程序书店（微信端）+源代码+演示视频.zip
09-04
互联网发展至今，无论是其理论还是技术都已经成熟，而且它广泛参与在社会中的方方面面。它让信息都可以通过网络传播，搭配信息管理工具可以很好地为人们提供服务。针对高校教师成果信息管理混乱，出错率高，信息安全性差，劳动强度大，费时费力等问题，采用微信小程序书店可以有效管理，使信息管理能够更加科学和规范。 微信小程序书店使用Java语言进行编码，使用Mysql创建数据表保存本系统产生的数据。系统可以提供信息显示和相应服务，其管理微信小程序书店信息，查看微信小程序书店信息，管理微信小程序书店。 总之，微信小程序书店集中管理信息，有着保密性强，效率高，存储空间大，成本低等诸多优点。它可以降低信息管理成本，实现信息管理计算机化。 关键词：微信小程序书店；Java语言；Mysql
用户调研问题清单SOP（以燕窝行业为例）.xlsx
09-04
用户调研问题清单SOP（以燕窝行业为例）
jquery swiper插件使用案例demo.rar
09-04
Swiper是一个纯JavaScript打造的滑动特效插件，面向手机、平板电脑等移动终端，同时也支持桌面浏览器。Swiper开源、免费、稳定、使用简单且功能强大，是架构移动终端网站的重要选择。 【加载插件】 首先加载插件，需要用到的文件有swiper-bundle.min.js和swiper-bundle.min.css文件，不同Swiper版本用到的文件名略有不同。可下载Swiper文件或使用CDN。 使用Swiper插件的步骤主要包括以下几个部分： ‌1、下载Swiper插件‌：首先，需要从Swiper的官网(https://swiper.com.cn/)下载Swiper插件。官网提供了多种版本的下载链接，包括压缩版和未压缩版，以及包含动画效果的版本等，可以根据项目需求选择合适的版本下载。 ‌2、引入Swiper文件‌：下载完成后，将Swiper的CSS和JS文件引入到项目中。通常，这两个文件分别是swiper-bundle.min.css和swiper-bundle.min.js（文件名可能因版本而异）。例如，在HTML中引入这些文件的代码
A New Semantic Similarity Scheme for more Accurate
最新发布
09-04
A New Semantic Similarity Scheme for more Accurate
rag 向量数据库有哪些
08-21
Rag（Retrieval-Augmented Generative）向量数据库是一种结合了信息检索技术和生成式模型的新一代知识存储系统。它将传统的基于关键词查询的信息检索方法与深度学习生成模型相结合，能够生成丰富的、上下文相关的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ModaHub魔搭社区

共建低代码生态

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值