孙军超-CSDN博客

原创智能搜索系统的结构化搜索+向量搜索混合检索结合模式

结构化搜索像“筛子”，精准过滤不符合条件的数据；向量搜索像“放大镜”，在筛选后的范围内找到语义最相关的内容。通过合理的流程设计（前置过滤、后置精排或加权融合），能兼顾“精准性”和“智能性”，完美解决电商、文档、新闻等复杂场景的搜索需求。

2025-10-18 16:55:30 927

Embedding模型大模型角色搜索引擎的“引擎”，负责底层的、高效的相似度匹配。搜索引擎的“大脑”，负责顶层的、智能的理解和生成。强项处理海量数据的速度和效率。处理复杂语义的深度和精度。关系互补关系，而非替代关系。一个强大的语义搜索系统，必然是两者的结合体：用Embedding模型快速找到“嫌疑人”，再用大模型进行“审判”并“宣判”（生成答案）。所以，一般当前一个智能检索系统“基于大模型的语义搜索”时，它很可能也内置了一个高效的向量检索作为其前端的召回引擎。

2025-10-13 11:31:39 263

原创向量对语义的理解程度

回到问题本身：“查询近期的新闻”中，向量搜索引擎能理解“近期”的语义（知道它是“时间近的时期”），但无法理解其具体的时间范围和动态时间指向。要实现“精准查询近期新闻”，必须让向量引擎与“时间元数据过滤”“模糊时间解析（规则/大模型）”等技术结合——前者负责“找到语义上的‘新闻’”，后者负责“筛选时间上的‘近期’”，两者协同才能满足用户需求。具体如何实现《向量搜索结合规则引擎实现智能搜索》《向量搜索结合规则引擎实现智能搜索》

2025-10-13 11:29:14 705

原创向量搜索结合规则引擎实现智能搜索

组件角色擅长处理在“新闻搜索”例子中的作用规则引擎指挥官 / 门卫结构化数据、明确的业务逻辑、硬规则1.前置：解析“近期”，过滤出时间范围内的新闻。2.后置：根据业务策略（如来源、关键词）对结果进行重排或过滤。向量检索感知器 / 匹配专家非结构化数据、模糊语义、相似性匹配核心：在“近期新闻”的候选集中，找到与“人工智能”语义最相关的内容。通过这种方式结合，你可以构建出既懂语义、又懂业务的强大智能系统，完美地解决了“查询近期的人工智能新闻”这类复杂查询问题。

2025-10-13 11:26:07 692

原创大模型的微调和RAG分别是什么，有什么区别

大模型微调（Fine-Tuning）基于已训练好的大模型（如GPT-3.5、Llama 3），用特定领域的小数据集（如医疗病历、法律条文）继续训练，调整模型的部分或全部参数，让模型“记住”该领域的知识、适配特定任务（如医疗问答、法律文书生成）。修改模型的“内在参数”，让知识成为模型的“本能”。大模型的参数是什么？核心解析与本质拆解RAG（Retrieval-Augmented Generation，检索增强生成）不修改模型本身，而是给模型搭配一个外部知识库（如PDF文档、数据库、学术论文）。

2025-09-25 17:49:51 985

原创大模型的参数是什么？核心解析与本质拆解

训练数据 = “它读的书”（原始知识来源）；参数 = “它从书里总结的知识规律”（隐形规则库）；回答问题/生成内容 = “它用规律解决新问题”（规则的实际应用）。简言之，参数是大模型“智能”的真正来源——这些看不见的数值，决定了模型能理解多少知识、能处理多少复杂任务。下次使用大模型时不妨联想：它给出的每一个回答，背后都是无数“数字配方”在精准计算。

2025-09-23 20:08:39 757

原创基于能力网关的 MCP 架构设计与实践：客户端、网关与服务端的协同机制

MCP 协议通过标准化 “大模型客户端 - 能力网关 - 外部工具服务端” 的交互逻辑，解决了大模型调用外部工具的碎片化与安全问题，尤其在管理信息域等需严格权限管控的场景中价值显著。未来，随着大模型与企业业务的深度融合，MCP 协议可进一步扩展 “多模态工具调用”（如调用管理信息域的报表生成工具）、“智能权限推荐”（基于用户场景自动匹配最小权限），成为企业级大模型工具调用的核心标准。

2025-09-13 21:17:51 650

原创《向量数据库系列四》向量数据库和传统数据库的区别

传统数据库：以“结构化数据”为核心，旨在解决数据的高效存储、事务一致性（如转账、订单提交）和精确查询（如“查询年龄=30且城市=北京的用户”），典型代表如MySQL、PostgreSQL、Oracle。向量数据库：以“向量数据”为核心，旨在解决非结构化数据（如图片、文本、音频）的“相似性匹配”（如“找到与这张猫图最像的10张图片”“推荐与当前文章主题相似的内容”），典型代表如Pinecone、Milvus、Chroma。向量数据库并非传统数据库的“替代品”，而是针对“非结构化数据相似性查询”的补充工具。

2025-08-29 10:06:29 673

原创《向量数据库系列三》向量数据库中数据的存储形式是什么

向量数据库的存储形式，本质是“为相似性查询服务的结构化设计先将非结构化数据转化为“可计算相似性的向量”；用“ID+向量+元数据”的三元组结构，兼顾“唯一定位”“相似性计算”和“业务关联”；再通过向量索引（如HNSW、IVF）优化高维向量的查询效率，最终实现“快速找到相似数据”的核心目标。

2025-08-29 09:53:23 793

原创《向量数据库系列二》非结构化数据转如何化为向量数据？

非结构化数据转化为向量的核心是“用模型提取核心特征，再编码为数值数组文本靠“语义模型”捕捉语义，图像靠“视觉模型”捕捉视觉特征，音频/视频靠“时空模型”捕捉声波/帧间变化；最终输出的向量，其“数值距离”直接对应原始数据的“相似性”——这也是向量数据库能实现“相似性检索”的基础。实际应用中，无需重复开发模型，可直接使用开源工具（如Hugging Face、PyTorch Vision）或云服务商API（如OpenAI、百度文心）快速完成转化。

2025-08-29 09:46:54 852

原创《向量数据库系列一》什么是向量数据库？向量数据库可以做什么？

向量数据库（Vector Database）是专门用于存储、管理、检索“向量数据”的数据库系统，其本质是为解决“非结构化数据的高效相似性匹配”而生，而非传统数据库的“结构化数据精确查询”。什么是向量数据？向量（Vector）是用一组“数值”表示非结构化数据（如文本、图片、音频、视频）特征的“数学形态”。例如：一张猫的图片，会被转化为（长度可能是128维、512维甚至数千维）的向量，向量中每个数值都对应图片的一个特征（如边缘、颜色、纹理）；

2025-08-28 17:25:57 601

原创 Model Context Protocol (MCP)：大模型与外部系统的标准化桥梁

MCP（Model Context Protocol）是大模型安全调用外部工具的标准化协议，旨在解决当前大模型面临的静态知识局限、工具调用碎片化和企业级落地障碍等问题。MCP基于JSON-RPC 2.0，通过标准化的请求-响应模式实现大模型与外部工具的安全交互，核心功能包括工具发现、调用和流式响应。其设计强调安全控制（如权限验证、沙箱执行和审计日志）与开放兼容性，显著降低工具集成成本。相比传统方案（如OpenAI的Function Calling），MCP提供更完善的企业级支持，包括动态服务发现、独立沙箱隔

2025-08-20 11:07:34 1092

原创集中搜索系统-联邦搜索方案

文章探讨了如何通过“联邦搜索架构+分层权限控制”模式实现集团对多分公司搜索系统的集中化管理，同时满足个性化需求。联邦搜索通过统一接口查询多个独立数据源，无需集中存储数据，适用于数据分散、敏感或异构的场景。其核心特点包括多源异构数据整合、实时性、数据零拷贝和统一权限控制。技术架构分为数据源层、查询协调层、数据整合层和展示层。典型应用场景包括企业内部跨系统搜索、敏感数据查询和多租户SaaS平台。联邦搜索的优点在于数据安全、实时性、灵活性和成本效益，但存在性能瓶颈、接口复杂度和结果一致性的挑战。实施步骤包括需求分

2025-05-16 16:02:55 1175

原创通俗理解大模型的核心技术和理念

大模型的核心技术和理念可以用几个关键点简单解释：Transformer架构预训练+微调自监督学习大规模算力通用性规模决定效果从数据中自学安全与伦理持续进化想象大模型是一个“超级学霸”

2025-03-28 11:10:15 363

原创前端开发都可以用AI替代了，转行算法工程师，差哪些？

前端开发工程师和算法工程师在技能要求、工作目标和应用场景上有显著差异，主要体现在技术栈、核心职责和知识体系上。两者方向差异明显：前者追求技术广度（框架、工具链），后者深耕领域深度（算法理论与数据洞察）。

2025-03-25 16:07:40 584

原创 Elasticsearch 与 OpenSearch 对比及选择建议

如果你的业务对查询性能要求极高，且需要丰富的高级功能和成熟的社区支持，Elasticsearch 是更好的选择。但如果你注重开源许可证的灵活性，希望与 AWS 服务无缝集成，并且对成本敏感，OpenSearch 是一个值得考虑的替代方案。在做出最终决策之前，建议根据你的具体业务需求和技术栈进行深入评估和测试，以确保选择的搜索引擎能够满足当前和未来的业务发展需要。

2025-03-17 17:06:04 803

原创 Elasticsearch 是什么？入门级普及

Elasticsearch 是一个专门用来快速搜索和分析海量数据的工具，你可以把它想象成一个“超强大脑”，能瞬间从堆积如山的资料里找到你需要的信息。

2025-03-17 11:43:52 1142

原创华为SP1升级python版本并添加pip

你可以把下面的代码添加到你的~/.bashrc或者~/.bash_profile文件中（对于当前用户）或者全局的/etc/profile或者/etc/environment（对于所有用户）。你可以使用which命令查找系统中已经在PATH中的Python版本的路径。如果你使用的是Python 3，那么可能会返回类似于/usr/bin/python3的路径。如果上一步找到的是一个软链接，你可以使用readlink命令找到实际的可执行文件路径。把/path/to/python替换成你的Python实际路径。

2024-12-05 11:54:56 597

原创 Git 的基本概念和使用方式（满足80%以上的使用场景）

提交（Commit）：提交是指将更改保存到Git仓库中的操作。合并（Merge）：合并是将一个分支的更改合并到另一个分支中的操作。拉取和推送：使用git pull命令从远程仓库拉取更改，使用git push命令将本地更改推送到远程仓库。推送（Push）：推送是将本地仓库中的更改同步到远程仓库的操作。拉取（Pull）：拉取是将远程仓库中的更改同步到本地仓库的操作。合并分支：使用git merge命令将一个分支的更改合并到当前分支。提交更改：使用git commit命令将暂存区中的更改提交到仓库。

2024-10-31 16:38:28 202 1

sjc212的博客