大模型——基于 StarRocks 的向量检索探索

最新推荐文章于 2025-04-30 14:41:06 发布
最新推荐文章于 2025-04-30 14:41:06 发布
阅读量285 收藏
点赞数 11
分类专栏： 大模型 文章标签： 数据库 大模型 人工智能 deepseek
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/king14bhhb/article/details/147599772
版权

大模型——基于 StarRocks 的向量检索探索

AI 和大模型无疑是当前的热门话题，作为从事数据工作的我们，也希望能够紧跟这一趋势，探索如何与 AI 实现更紧密的结合。这正是我们最初的诉求。随着大模型的兴起，推动了公司在这一背景下对向量检索场景的深入探索，也为我们进一步拓展在 StarRocks 上的应用提供了新的机遇。

向量检索技术浅析

什么是向量检索

img

什么是向量检索呢？简单来说，向量检索是**通过给定一个查询向量，在特征数据库中找到与之距离最近的 k 个向量。**举个例子，如果我们把今天会场的所有人作为特征向量，那么向量检索的任务就是找到与我最相似的 10 个人。用通俗的语言来说，它其实就是一个 Top N 查询。虽然本质上，向量检索就是一个 Top N 查询，但由于深度学习中几乎所有内容都用向量表示，所以我们将其称为“向量检索”。

近似最近邻查询

之所以在向量检索中进行 Top N 查询显得如此复杂，主要原因在于向量本身的维度通常非常高。这导致了计算的复杂性，每次计算都需要进行

了解本专栏 订阅专栏 解锁全文 超级会员免费看
大模型系列——基于 StarRocks 的向量检索探索
2401_84052244的博客
04-30 174
什么是向量检索呢？简单来说，向量检索是**通过给定一个查询向量，在特征数据库中找到与之距离最近的 k 个向量。**举个例子，如果我们把今天会场的所有人作为特征向量，那么向量检索的任务就是找到与我最相似的 10 个人。用通俗的语言来说，它其实就是一个 Top N 查询。虽然本质上，向量检索就是一个 Top N 查询，但由于深度学习中几乎所有内容都用向量表示，所以我们将其称为“向量检索”。在单机环境下，我们在 30 万到 100 万数据规模和 50 维向量的情况下，可以实现十几毫秒的延迟。
大模型——使用 StarRocks 作为向量数据库
04-30 39
通过上述步骤，用户可以成功将 StarRocks 用作向量数据库，加载文档，进行标记化，以及构建一个可以进行提问的系统。这样的设置不仅提高了数据处理的效率，还能够实现快速的检索和分析功能。
腾讯大数据基于 StarRocks 的向量检索探索
StarRocks的博客
02-12 1357
什么是向量检索呢？简单来说，向量检索是通过给定一个查询向量，在特征数据库中找到与之距离最近的 k 个向量。举个例子，如果我们把今天会场的所有人作为特征向量，那么向量检索的任务就是找到与我最相似的 10 个人。用通俗的语言来说，它其实就是一个 Top N 查询。虽然本质上，向量检索就是一个 Top N 查询，但由于深度学习中几乎所有内容都用向量表示，所以我们将其称为“向量检索”。在单机环境下，我们在 30 万到 100 万数据规模和 50 维向量的情况下，可以实现十几毫秒的延迟。
大模型——RAG 实战用 StarRocks + DeepSeek 构建智能问答与企业知识库
04-28 15
RAG（Retrieval-Augmented Generation，检索增强生成）是一种结合外部知识检索与 AI 生成的技术，弥补了传统大模型知识静态、易编造信息的缺陷，使回答更加准确且基于实时信息。
EMR StarRocks实战——猿辅导的OLAP演进之路
爱吃辣条的博客
02-27 694
EMR StarRocks实战——猿辅导的OLAP演进之路
To B最容易落地的Agent场景：DataAgent
m0_63171455的博客
07-27 1250
DataAgent的能力本质上比较依赖大模型的自然语言转API/SQL/代码的能力，除了对模型进行专门优化及加入提示工程等方式，在2B场景下，也有一些可以通过基于字段和API的优化方案（具体参考与指标平台/API的交互），在实际实施过程中，还需要根据实际场景、复杂度和可靠性做出更综合的评估。附：开源Agent评测。
2024年10月数据月报
SmartSi
11-02 1571
2024年10月数据月报，为您准备了阿里、字节、百度等大厂160多篇实践案例
2024年11月大数据月报
SmartSi
12-01 1592
2024年11月数据月报，为您准备了阿里、字节、百度等大厂140多篇实践案例
2024年12月数据月报
SmartSi
01-04 1706
2024年12月大数据月报，为您准备了阿里、字节、百度等大厂150多篇实践案例
基于ssm的校园外卖配送系统（源码+文档）
luoluoal的博客
04-30 1116
校园外卖配送系统的主要使用者分为：1、用户的功能及权限用户登录注册后，进入系统对个人中心，订单信息管理，订单取消管理，配送接单管理，取消配送管理，送达通知管理等功能进行操作管理。2、配送员的功能及权限用户登录注册后，进入系统对个人中心，订单信息管理，配送接单管理，取消配送管理，送达通知管理等功能进行操作管理。3、管理员的功能及权限用户信息的添加和管理，校园外卖配送详细信息添加和管理和文档信息添加和管理以及网站信息管理，这些都是管理员的功能💕💕作者：落落。
【MySQL】表的增删查改 + 分组查询
2203_76003626的博客
04-28 1117
表的增删查改 + 分组查询
零改造实现MySQL加密：安当TDE透明加密与KSP密钥管理系统的创新实践
最新发布
www.andang.cn
04-30 716
安当TDE透明加密系统与KSP密钥管理系统的组合，为企业提供了"免改造、高性能、全合规"的数据库加密解决方案。通过创新的三层加密引擎、智能性能优化和企业级密钥管理，成功破解了传统加密方案的技术桎梏。在数字化转型加速的今天，这种"安全-性能-成本"的完美平衡，将成为企业构建新一代数据库安全底座的核心选择。未来，随着AI和隐私计算技术的融合，数据库加密将进入智能加密新时代，而安当技术已在这条赛道上构建起坚实的技术壁垒。
C# dataGridView分页
JQLvopkk的博客
04-30 186
/ MySQL连接字符串。// 每页加载的记录数量。LoadData();// 初始化加载数据。
最终一致性正在成为主流：现代分布式应用的数据管理新范式
Tapdata 技术博客
04-27 735
本文将带你深入理解强一致性与最终一致性模型的核心思想、适用场景及权衡考量，帮助你在构建现代应用时做出更理性的设计决策。
SQL面试之--明明建了索引为什么失效了？
m0_57098592的博客
04-27 776
索引相关面试问题
数据库- JDBC
qq_68630091的博客
04-28 1218
当应用程序使用完连接后，需要将连接归还给连接池，而不是直接关闭连接。而在Java 7 及以上版本，可以在 try 语句后面的括号中声明和初始化资源，当 try 块结束时，无论是否发生异常，这些资源都会自动调用 close() 方法关闭。通过设置一系列参数来初始化 DruidDataSource 对象，这些参数包括数据库连接的 URL、用户名、密码，以及连接池的一些基本配置，如初始连接数、最大连接数等。创建Userinfo表，包含id，username，password，nickname，age字段。
【前后端分离项目】Vue+Springboot+MySQL
等风来
04-26 1210
由于使用 Maven 构建项目，因此需要在 pom.xml 中引入 mysql-connector-java 依赖。通过此流程，无需直接访问 http://localhost:8080/api/ice，仅需访问 http://localhost:5173/ 即可获取数据。在实际项目中，还需要实现后端与数据库的联动，例如用于注册、登录等功能。
w233大学生就业需求分析系统设计与实现
卓怡工作室的博客
04-29 471
信息数据从传统到当代，是一直在变革当中，突如其来的互联网让传统的信息管理看到了革命性的曙光，因为传统信息管理从时效性，还是安全性，还是可操作性等各个方面来讲，遇到了互联网时代才发现能补上自古以来的短板，有效的提升管理的效率和业务水平。传统的管理模式，时间越久管理的内容越多，也需要更多的人来对数据进行整理，并且数据的汇总查询方面效率也是极其的低下，并且数据安全方面永远不会保证安全性能。结合数据内容管理的种种缺点，在互联网时代都可以得到有效的补充。结合先进的互联网技术，开发符合需求的软件，让数据内容管理不管是从
Starrocks MPP数据库
03-26
### StarRocks MPP 数据库介绍 StarRocks 是一款高性能的分布式关系型数据库，专为大规模数据分析而设计。它采用现代架构和技术栈，旨在提供快速的数据查询能力和高效的资源利用率。其核心功能之一是基于 **MPP（Massively Parallel Processing）** 的分布式执行框架，该框架允许 SQL 查询在多个节点上并行处理，显著提升性能。 --- ### 架构概述 #### 1. FE（Frontend） FE 是 StarRocks 集群中的控制模块，主要负责元数据管理、查询计划生成以及协调 BE 节点的工作。FE 提供了一个统一的接口来接收用户的请求，并将其转化为具体的执行计划发送给 BE 进行实际计算[^1]。 #### 2. BE（Backend / CN 替代方案） 传统架构中，BE 执行数据存储和计算任务；而在最新的存算分离模式下，CN（Compute Node）取代了部分 BE 功能，专注于计算层的任务分配与调度。这种改进使得计算和存储解耦，便于动态调整资源配置[^3]。 #### 3. 数据管理 无论是传统的存算一体化还是新型的存算分离模型，StarRocks 均能高效管理和访问海量数据集。特别是在存算分离场景中，支持多种外部存储介质如 AWS S3 或 HDFS 等作为底层持久化载体。 --- ### 主要特性 #### 1. MPP 分布式执行框架 借助于 MPP 技术，StarRocks 实现了跨多台服务器的同时协作运算能力。此机制充分利用硬件资源，在面对复杂 OLAP 场景时表现出卓越优势——即使涉及超大数据量也能维持较低延迟水平[^2]。 #### 2. 向量化执行引擎 为了进一步加速查询过程，StarRocks 引入了完全向量化的操作方式。相比常规方法而言，这种方法减少了不必要的内存读写次数，提高了 CPU 利用效率。 #### 3. CBO 优化器 COST-BASED OPTIMIZATION (CBO)，即代价估算型查询优化算法被广泛应用于商业级 RDBMS 中。同样地，StarRocks 内置了一套成熟的 CBO 组件用来自动挑选最优路径完成特定需求下的检索动作。 #### 4. 可实时更新的列式存储引擎 不同于某些只适合批量加载作业的传统仓库解决方案，StarRocks 支持频繁的小规模插入/修改行为而不影响整体表现力。这得益于它的创新性设计思路：将最新变动记录单独保存直至满足条件后再合并至主表之中。 #### 5. 智能物化视图 通过预先创建好常用维度组合的结果快照形式存在下来形成所谓的“物化视图”，当后续遇到相似结构的新请求到达时候可以直接返回已有的答案而不是重复做一遍相同的逻辑推导流程，极大地缩短响应时间间隔。 #### 6. 数据湖分析集成 除了自身的强大功能之外，StarRocks 还具备无缝对接主流开源生态系统成员比如 Apache Hive/Hudi/Iceberg/DeltaLake 等的能力，让用户轻松构建混合云环境下的端到端业务链条。 --- ```python # 示例 Python 客户端连接代码片段 from starrocks import connect conn = connect(host='localhost', port=9030, user='root') cursor = conn.cursor() cursor.execute('SELECT * FROM example_table LIMIT 10;') for row in cursor.fetchall(): print(row) ``` --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

不二人生

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值