自定义博客皮肤VIP专享

*博客头图：

点击选择上传的图片

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

点击选择上传的图片

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

点击选择上传的图片

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览取消提交

自定义博客皮肤

-+

上一步保存

AI天才研究院

AI天才研究院和光剑读书创始人兼CEO

程序员光剑

博客等级

码龄10年

优质创作者: 人工智能技术领域

领域专家: 后端开发技术领域

12万+
原创

144万+
点赞

145万+
收藏

7万+
粉丝

关注

私信

热门文章

分类专栏

最新评论

【Java 面试宝典】30 道 AI 大模型与Agent 算法工程研发与后端工程开发技术面试题宝典（精选面试题和面试必过的答案完整详细解析）
程序员光剑: 什么是 AI Agent？与普通 Chatbot 有什么区别？考察点：Agent 概念。必会：普通 Chatbot：仅做“对话生成”，依赖静态上下文，不主动行动。 Agent：能根据目标（Goal）自主规划步骤（Planning），调用工具（Tools）、与环境交互，迭代决策。关键特征：目标驱动（Goal-oriented）具备状态（State）和记忆（Memory）能调用外部工具/服务执行动作（API、数据库、浏览器）。加分：与传统“规则引擎/工作流引擎”的区别：决策逻辑学习/生成而非硬编码。与 LLM 的关系：LLM 充当 Agent 的“决策大脑”。
【Java 面试宝典】30 道 AI 大模型与Agent 算法工程研发与后端工程开发技术面试题宝典（精选面试题和面试必过的答案完整详细解析）
程序员光剑: ### HNSW、IVF、PQ、OPQ索引结构详解 #### 1. **HNSW（分层可导航小世界图）** - **核心结构**：基于多层图结构构建，包含从稀疏到稠密的层级（通常6-8层）。顶层为稀疏图（节点数少，连接稀疏），底层为稠密图（保留全量数据）。节点间通过长边（跨层）和短边（同层）连接，形成类似社交网络的"小世界"特性。 **搜索流程**：查询从顶层开始，利用长边快速跳跃到目标区域，逐层向下细化搜索，最终在底层定位最近邻。复杂度可降至 \(O(\log N)\)。 - **特性**： - 支持动态增删节点，无需全局重建索引 - 高召回率（>95%）与低延迟（毫秒级） - 内存占用较高（需存储多层图结构） #### 2. **IVF（倒排文件索引）** - **核心结构**： 1. **聚类阶段**：通过K-means将向量空间划分为 \(K\) 个聚类（如 \(K=1024\)）。 2. **倒排列表**：每个聚类对应一个倒排链，存储属于该簇的向量ID及原始向量（或压缩后向量）。 **搜索流程**：先定位查询向量最近的 \(n_{probe}\) 个聚类（如 \(n_{probe}=8\)），仅在这些簇内进行精细搜索。 - **特性**： - 显著缩小搜索范围（复杂度 \(O(K + N/K)\)） - 依赖聚类质量，高维数据需配合量化压缩 - 典型应用：IVF-PQ、IVF-HNSW组合 #### 3. **PQ（乘积量化）** - **核心结构**： 1. **向量拆分**：将 \(D\) 维向量切分为 \(M\) 个子向量（如 \(D=128\)，\(M=8\)，子向量维数 \(d=16\)）。 2. **子空间量化**：每个子空间独立训练码本（如每子空间256码字），向量用 \(M\) 个码字索引表示。 **距离计算**：通过查表法计算子向量距离： $$ \text{dist}(q,v) \approx \sum_{m=1}^{M} \text{dist}(q^{(m)}, c_{k_m}^{(m)}) $$ 其中 \(c_{k_m}^{(m)}\) 为第 \(m\) 子空间的码字。 - **特性**： - 高压缩比（128维向量压缩至8字节） - 距离计算复杂度降至 \(O(M)\) - 量化误差随维度划分增加 #### 4. **OPQ（优化乘积量化）** - **结构优化**：在PQ基础上引入**线性旋转矩阵** \(R\)： 1. 优化目标：最小化量化误差 \(\|x - R^{\top}c\|^2\) 2. 通过PCA或迭代优化学习旋转矩阵，解除维度间相关性。 **公式表示**：原始向量 \(x\) 先旋转： \(x' = Rx\)，再对 \(x'\) 执行PQ量化。 - **特性**： - 较PQ降低20-50%量化误差 - 旋转操作增加少量计算开销 - 常用于IVF-PQ的向量压缩层 --- ### 组合索引结构实践 | **组合方案** | **结构设计** | **适用场景** | |---------------------|---------------------------------------|---------------------------| | **IVF-PQ** | IVF聚类 + PQ压缩倒排链内向量 | 高内存限制，中等精度需求 | | **IVF-HNSW** | HNSW加速聚类中心搜索 + IVF过滤簇 | 超高精度，动态数据环境 | | **HNSW-PQ** | HNSW图结构 + PQ压缩节点向量 | 低延迟与内存平衡 | > 注：实际系统（如Faiss、Milvus）常采用多层组合，例如**IVF_{HNSW}-OPQ** 使用HNSW加速聚类中心搜索，OPQ优化压缩效果。
长途汽车信息管理系统详细设计与具体代码实现
cici868: 大佬求源码
100 道大数据开发技术原理与实战面试宝典（必过答案详细解析）I
程序员光剑: 26. HBase 如何避免热点？ RowKey 设计加 salt/散列反转 timestamp（倒排）预分区（pre-split）使用 salt + hash 前缀 27. HBase 适合场景？ 📌 特点：单表超大，千万～亿级高并发读写随机写、大量更新 📌 典型应用：用户画像实时明细存储 IoT 设备数据 28. HBase 内部存储结构？ Row → ColumnFamily → Column → Version 📌 数据按 RowKey 有序存储 📌 数据分为：MemStore → HFile（落盘） 29. HBase 读写流程？ 📌 写：Client → WAL → MemStore → Flush → HFile 📌 读：MemStore → BlockCache → HFile
100 道大数据开发技术原理与实战面试宝典（必过答案详细解析）I
程序员光剑: 25. Hive 数据倾斜 10 种解决方案（高频） Map Join 采样热点 key 热点加随机 key 打散拆分两轮聚合结合 group by 预聚合大小表过滤动态分区优化规避 distinct 拆分 skewed key 使用 bitmap / HLL

ChatGPT 实战

更新中

文章平均质量分 92

专栏提供了一系列实用的代码案例，帮助读者深入理解和应用ChatGPT。从基础的文本生成到对话系统的构建，这本专栏覆盖了各种应用场景和技术要点。每个案例都有详细的代码解释和示例，帮助读者逐步掌握ChatGPT的开发技巧。无论是初学者还是有经验的开发者，都能从这本专栏中获得实用的知识和技巧。

文章数：2282 文章阅读量：1155691 文章收藏量：15830

作者: 程序员光剑

资深程序员、架构师和AI大模型应用专家。拥有阿里巴巴、字节跳动十年工作经验，在AI大模型应用、智能数据产品、企业级系统架构和研发效能平台工具等领域积累了丰富的实践经验。技术领域涵盖Java、Golang、Python等多种编程语言，精通大数据技术栈和AI应用开发技术。著有《精通MCP：AI智能体开发实战》《从零构建AI Agent：大模型应用开发实践》《ClickHouse入门实战与进阶》《Spring Boot开发实战》《Kotlin从入门到进阶实战》《Kotlin极简教程》等多部技术专著，个人技术博客全网阅读量达1.6亿。热爱技术，擅长用技术解决业务问题。平时喜欢读书、写作和思考。

展开

专栏收录文章