- 博客(22)
- 收藏
- 关注
RSS订阅原创 拒绝“迷失在中间”！RAG应对超长上下文的实战调优指南
当检索回来的上下文过长时，最直接的办法就是进行压缩。通过这种方式，我们可以剔除大量与问题无关的冗余废话，将原本数万token的上下文压缩到模型最舒适的区间，同时保留核心事实。如果用户的问题确实需要跨越极长的文档（比如“帮我总结这50页合同的所有风险点”），超出了模型的承受极限，我们可以采用。这种策略极大地提升了检索的信噪比，确保输入模型的上下文主体与问题高度相关，从根本上减少了上下文的总长度。虽然这种方法的延迟相对较高，但它完美解决了单次上下文超限的问题，非常适合处理复杂的跨文档总结任务。
2026-05-20 16:07:08
210
原创 拒绝RAG幻觉与低召回！手把手带你从Demo迈向生产级调优
检索回来的内容如果直接丢给大模型，很容易出现答非所问或幻觉。1. 引入重排序（Rerank）这是RAG调优中性价比最高的一步。向量检索只能算出“语义相似度”，无法保证“答案精确性”。我们可以在检索阶段先放宽数量（比如召回Top 20），然后引入专业的Rerank模型（如 BGE-Reranker、Cohere Rerank）对这20条内容进行精细的相关性打分，最后只取Top 5喂给大模型。实践表明，增加几十毫秒的延迟，往往能换来准确率近一倍的提升。2. 严格的防幻觉Prompt。
2026-05-20 16:02:51
287
原创 深入浅出：彻底搞懂进程、线程与协程
协程并不是要取代线程，而是与线程协同工作协程负责高并发、多任务调度（逻辑流管理），提供轻量级的任务切换。线程负责真正利用多核 CPU（物理执行），同时作为协程的载体。进程则提供最底层的资源隔离和安全保障。一种常见的现代高并发架构是：启动与 CPU 核心数量相等的线程，每个线程内运行一个事件循环和成千上万个协程。这样既能充分利用多核，又能轻松支撑百万级并发连接。希望这篇博客能帮助你建立起对进程、线程和协程的系统认识，并在实际开发中合理运用！
2026-05-17 21:19:14
355
原创 Apache Spark：大数据处理的极速引擎与PySpark实战指南
在上一节中，我们利用 Spark 强大的分布式计算能力完成了数据的清洗与模型的训练。然而，在真实的业务场景中，我们往往需要将这些模型以 API 的形式暴露给前端或第三方服务，实现实时的预测（例如：实时推荐、风控拦截）。它记录了数据的转换过程（血统），当某个分区数据丢失时，它可以根据血统重新计算，而无需进行数据复制，从而在保证可靠性的同时提高了效率。DataFrame 是 PySpark 中最常用的数据结构，类似于 Pandas 中的 DataFrame，但底层是分布式的。成为了所有功能的统一入口点。
2026-05-11 15:48:30
382
原创 KNN与KMeans算法详解：从原理到实践
KNN是一种简单而强大的监督学习算法，主要用于分类和回归任务。它的核心思想非常直观：“物以类聚”。特性KNN (K最近邻)KMeans (K均值)学习范式监督学习无监督学习主要任务分类、回归聚类数据要求需要带标签的训练数据只需要无标签的数据K的含义邻居的数量簇的数量工作原理基于待预测点与训练点的距离进行投票或平均通过迭代优化，将数据点分配到K个簇中计算阶段“懒惰学习”，计算主要在预测阶段计算主要在训练（拟合）阶段K值选择通过交叉验证，看模型性能（如准确率）通过手肘法、轮廓系数等内部指标。
2026-05-11 15:44:29
326
原创 数据分析界的“小钢炮”：DuckDB 快速上手指南
DuckDB 是一个开源的、嵌入式的、进程内的 SQL 数据库管理系统。它由荷兰 CWI 数据库团队开发，被业界誉为“分析领域的 SQLite”。与传统的行式数据库（如 MySQL、SQLite）不同，DuckDB 专为联机分析处理（OLAP）场景设计。它采用了列式存储和向量化执行引擎。简单来说，当你在做SUMAVG或GROUP BY等聚合操作时，DuckDB 能够利用现代 CPU 的 SIMD（单指令多数据）指令集进行批量并行计算，性能往往比传统数据库快上数倍甚至数十倍。零配置、嵌入式。
2026-05-07 22:05:38
296
原创 Redis：不仅仅是缓存，更是高并发系统的“加速器”
Redis（Remote Dictionary Server）是一个开源的、基于内存的键值对（Key-Value）存储系统。你可以把它理解为一个运行速度极快、功能极强的HashMap，但它不仅限于内存，还支持持久化（把数据存到硬盘），并且支持多种复杂的数据结构。核心定位内存数据库：数据主要存储在内存中，读写性能极高（读 110,000+ 次/秒，写 81,000+ 次/秒）。中间件：用作缓存、消息代理、分布式锁服务。NoSQL：非关系型数据库，结构灵活。
2026-04-28 06:56:17
379
原创 消息队列（MQ）深度解析：从原理到选型实战
核心概念消息队列是一种跨进程、异步的通信机制。它允许消息的生产者将消息发送到一个队列中，而消息的消费者则可以在任意时间从队列中取出并处理消息。生产者和消费者不需要同时在线，也不需要知道彼此的存在。你（生产者）把信（消息）投进邮筒。邮递员（MQ服务器）负责保管和递送。收信人（消费者）从邮筒取信，并在方便时阅读。核心组件组件说明生产者 (Producer)发送消息的应用程序。消费者 (Consumer)接收并处理消息的应用程序。消息 (Message)传输的数据单元（JSON、文本、二进制等）。
2026-04-28 06:54:44
362
原创 从原理到实战：一文读懂人工神经网络（ANN）算法
简单来说，人工神经网络是一种受生物神经系统启发而构建的计算模型。它模仿了人脑神经元的工作方式，通过大量的节点（神经元）相互连接，形成复杂的网络结构，从而具备强大的学习和非线性映射能力。你可以把 ANN 想象成一个极其复杂的函数，它接收输入数据（如图片像素），经过层层计算，最终输出结果（如“这是一只猫”）。本文我们从零开始，介绍了人工神经网络的基本概念、核心组件和训练机制，并通过一个完整的 Python 示例，展示了如何实现一个简单的 ANN。理解 ANN 是通往深度学习世界的第一步。
2026-04-25 22:29:47
321
原创 向量数据库三大核心索引算法：HNSW、IVF与PQ深度解析
HNSW、IVF和PQ并没有绝对的优劣之分，只有适不适合。在实际的向量数据库（如Milvus、Qdrant）中，往往提供了多种索引类型的组合。理解它们的底层原理，能帮助你根据业务的数据规模、硬件资源和SLA要求，构建出最合理的检索架构。在AI工程化的道路上，选对索引，往往能让你的系统性能提升一个数量级。希望这篇解析能为你的技术选型提供有力的参考。（字数统计：约 1400 字） 这篇深度解析是否帮你理清了HNSW、IVF和PQ的关系？需要我补充更多关于Faiss库的具体代码实现示例吗？
2026-04-21 19:43:26
434
原创 拒绝“玩具级”应用：向量数据库索引优化与生产级落地实战
为什么你的向量检索在生产环境中如此脆弱？核心原因在于索引策略的缺失。今天，我们不谈基础 API 调用，直接切入深水区，聊聊如何把向量数据库从“能用”打磨成“抗造、极速、稳定”的生产级组件。向量数据库的优化没有银弹，只有权衡。追求极致低延迟且内存充足？选HNSW。数据量亿级且内存敏感？选IVF_PQ。追求高准确率？上混合检索。从“能跑通”到“生产级”，中间隔着对索引原理的深刻理解和对业务场景的精准把控。希望这篇指南能帮你避开那些深坑，构建出真正强悍的向量检索系统。
2026-04-21 19:41:21
337
原创 Karpathy的LLM Wiki：用AI构建你的“第二大脑“
Karpathy的LLM Wiki方案虽然看似简单，但其背后蕴含着深刻的洞察：未来的知识管理不是简单的文档存储和检索，而是让AI成为知识的主动管理者和编译者。这种理念的推广可能会催生新一代的知识管理工具和工作流。对于每个知识工作者来说，掌握这种新的知识管理范式，将是提升个人生产力和竞争力的重要途径。让我们期待更多基于此理念的工具和实践出现！参考：Karpathy在GitHub Gist上发布的详细指南及相关社区讨论。
2026-04-20 17:42:19
472
原创 探索Mneme前端项目：基于Vue 3的个人记忆型RAG系统
Mneme前端项目是基于Vue 3构建的工作台界面，专注于为用户提供完整的知识管理体验。项目名称"Mneme"源自希腊神话中的记忆女神，这也体现了项目的主旨——打造个人记忆管理系统。Mneme前端项目展现了现代前端开发的最佳实践，不仅技术栈先进，而且设计理念独特。它不仅仅是一个简单的知识管理工具，更是对个人记忆和知识组织方式的深度思考。对于想要学习Vue 3开发或者对RAG系统感兴趣的同学来说，这个项目是一个很好的学习资源。其清晰的代码结构、完善的类型定义以及灵活的后端集成方案都值得深入研究。
2026-04-20 17:39:59
201
原创 RAG Agent：构建智能对话系统的未来之路
RAG是一种结合信息检索和文本生成的技术框架，它通过从外部知识库中检索相关信息，再将这些信息作为上下文输入给生成模型，从而提高回答的准确性和相关性。传统的LLM虽然拥有丰富的预训练知识，但其知识更新滞后且缺乏对特定领域数据的深度理解。而RAG技术能够在保持LLM生成能力的同时，引入实时的、特定领域的知识，有效解决了这一痛点。
2026-04-17 21:28:24
338
原创 RAG与Harness Engineering：从“聪明脑袋”到“靠谱员工”的AI进化之路
RAG和Harness Engineering代表了AI应用开发的两个不同阶段。RAG让我们跨越了“知识”的鸿沟，让AI能够利用我们所有的数据。则让我们跨越了“信任”的鸿沟，让我们敢于将复杂的、关键的任务交给AI。未来的AI系统，将不再是简单的“你问我答”，而是一个由Harness Engineering构建的、集成了RAG等多种能力的、高度自治的“数字员工团队”。作为开发者，我们的角色也正在从“写代码的人”转变为“设计系统的人”——设计一个能让AI充分发挥其智能，同时又安全、可靠、可控的系统。
2026-04-13 21:23:47
257
原创 告别“提示词炼丹”：2026年最硬核的AI工程范式——Harness Engineering
首先，让我们忘掉复杂的术语。AI = 一匹拥有无穷力量的野马。Harness = 缰绳、马鞍与马具。没有马具的野马，力气再大你也骑不上去，甚至可能被它甩下来。Harness Engineering的核心，不是去改变马的基因（模型本身），而是为这匹野马设计一套精密的控制系统。在工程层面，Harness是包裹在AI模型周围的基础设施。它负责管理Agent的生命周期、提供标准化工具、强制执行架构约束，并确保任务在跑偏时能被自动拉回正轨。
2026-04-13 21:21:19
437
原创 别再只做问答了，Mneme： 如何把 RAG 进化成长期记忆系统？
如果你已经看腻了“上传 PDF + 提问”的 RAG Demo，那这个项目可能会让你眼前一亮。Mneme 并不是一个只做检索问答的简单示例，而是一个围绕用户、知识库、文档、记忆条目、画像分析来构建的后端系统。它试图解决的不是“一次性回答问题”，而是让系统随着内容积累，逐步形成对用户的长期理解。项目当前已经打通了注册/登录、默认知识库创建、文档上传、文档切分与索引、向量检索、基于知识库的 RAG 问答这条主链路，同时还预留了画像、成长分析、建议生成、陪伴式回复等扩展能力。GitHub。
2026-04-07 20:43:12
383
原创 基于 Django REST Framework 打造电商后端（下）：事务控制、缓存设计与异步任务落地
如果说上篇介绍的是项目框架，那么下篇真正体现的是后端设计思维。订单提交必须放进事务里，不能分散执行并发下单需要配合行级锁来保证库存一致性异步任务要等事务提交后再派发订单取消应该抽成服务层，避免逻辑重复商品缓存适合用版本号失效，而不是手动删零散 key电商项目的关键链路一定要有测试兜底这也是我觉得 Django 电商项目真正有价值的地方。它不只是把接口写出来，而是在一步步逼近真实业务系统的处理方式。
2026-04-04 21:01:05
392
原创 基于 Django REST Framework 打造电商后端（上）：项目架构与核心模块设计
这个电商后端项目最有价值的地方，是它已经把一个真实电商系统最核心的业务主线串起来了。用户、商品、购物车、订单四个模块之间的关系清晰，技术选型也比较合理，整体结构非常适合作为 Django REST Framework 的进阶练手项目。如果把这篇看作上篇，那么它主要回答了三个问题：- 这个项目做了什么- 这个项目为什么这样拆- 这个项目的核心模块是怎么设计的下篇我会继续往深一点写，重点分析这些内容：- `OrderSubmitAPIView` 为什么要配合事务处理。
2026-04-04 20:39:41
373
原创 FastAPI 实战项目：从 0 到 1 搭一个类似 Netflix Dispatch 的事件管理后端
最近在做一个偏工程化的后端练手项目，我没有再去写“用户管理 + 文章管理”这种常规 CRUD，而是选择实现一个的精简版后端。这个项目更接近真实业务场景：它有 Incident 的创建、搜索、指派、状态流转，也有团队权限、任务拆分、通知系统、WebSocket 实时推送，以及 Alembic 迁移、Docker Compose、测试和 CI。我觉得这类项目特别适合写进简历或者做技术总结，因为它体现的不是“会不会写接口”，而是“有没有把后端当成一个完整系统来设计”。这个。
2026-04-02 21:59:00
393
原创 基于fastapi框架的AI资讯的全栈项目
摘要：fastapi_news_application是一个基于FastAPI的新闻应用后端项目，提供新闻管理、用户认证和Redis缓存等功能。采用现代Web技术栈，包括SQLAlchemy ORM、JWT认证和自动API文档生成。项目结构清晰，包含模型定义、路由逻辑和核心配置模块，支持快速启动开发服务器。可搭配Vue/React前端，建议通过Docker容器化部署，并提供了完整的前后端整合方案，包括环境配置、API对齐和跨域处理等注意事项。
2026-03-31 21:12:49
235
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人