- 博客(8)
- 收藏
- 关注
RSS订阅原创 RAG 系统性能衰退解析：从“越用越慢”到“持续稳定”的工程化调优
摘要： RAG系统性能衰退主要由四个环节的瓶颈引起：Embedding重复计算、向量库规模膨胀、重排序模型过载以及Prompt冗余堆积。针对这些问题，提出系统性调优方案：通过语义缓存和批处理优化Embedding层；采用HNSW索引和分区策略管理向量库；建立FAQ缓存实现高频问题快速响应；精简Prompt内容提升生成效率。这些工程优化手段能有效对抗数据"熵增"，确保系统在数据增长时仍保持稳定延迟和吞吐，实现RAG系统的可持续运行。
2026-03-27 15:27:05
542
原创 KV Cache：大模型推理的“隐形命门”与核心瓶颈
理解了定义和代价，我们来到最关键的问题：为什么 KV Cache 是大模型推理的核心瓶颈？Prefill（预填充）和Decode（解码）。1. 两阶段瓶颈对比特性Prefill 阶段 (预填充)Decode 阶段 (解码)任务描述一次性处理用户输入的 Prompt，生成初始 KV Cache逐个生成新 Token，不断更新 KV Cache计算模式高度并行矩阵乘法串行向量 - 矩阵运算主要操作计算所有输入 Token 的 Q, K, V。
2026-03-03 14:46:13
732
原创 RAG 系统排查指南：从盲目调优到系统化诊断
面对 RAG 系统的效果问题，切忌头痛医头。正确的解决路径应遵循以下五步排查法查数据源：答案是否在库里？（解决数据缺失/解析问题）查 Chunking：答案是否被切碎或稀释？（优化切片策略）查语义鸿沟：Query 与文档表述是否对齐？（引入 Query 改写/混合检索）查模型适配：通用模型是否懂行话？（领域微调或换模型）查排序机制：好内容是否被漏掉？（引入 Reranker 精排）
2026-03-03 14:43:32
509
原创 大模型 Temperature 参数的深度解析：机制、误区与工程实践
在大语言模型（LLM）的应用与调优中，是最常被提及却最易被误解的超参数之一。通俗理解往往将其等同于“随机性控制器”或“创造力开关”，但这种认知在数学原理和工程实现层面存在显著偏差。本文旨在深入剖析参数的数学本质，澄清其并不直接产生随机性，而是通过缩放 Logits 来改变概率分布的形态。同时，本文将详细探讨其与 Top-K、Top-P 采样策略的协同机制，并解释在实际工程中出现的确定性偏差现象，为开发者提供严谨的理论框架与实践指导。高温效应。
2026-02-26 09:37:01
860
原创 Git 命令说明
git sparse-checkout init --cone：初始化稀疏检出模式，并使用“锥形模式”（Cone Mode）。锥形模式是一种更高效的稀疏检出方式，适用于大多数场景。使用 --filter=blob:none 部分克隆时，Git 不会下载大文件（Blob 对象）。当你实际访问这些文件时，Git 会按需下载它们。–sparse：启用稀疏检出模式，允许后续指定需要检出的文件或目录。
2026-02-25 16:16:45
279
原创 WSL2 环境下快速搭建 OpenClaw
摘要：本文详细介绍了在WSL2(Ubuntu)环境下安装和配置OpenClaw的完整流程。主要内容包括：1）安装WSL2和Ubuntu20.04；2）更新系统并安装Node.js v22；3）通过npm全局安装OpenClaw；4）配置OpenClaw服务并进行授权认证；5）启动gateway、health和dashboard服务。同时提供了常见问题的解决方案，如构建工具缺失、Node.js版本兼容性问题以及CMake版本过低等问题。重点强调了在WSL2环境下运行的必要性，并给出了详细的命令行操作步骤和配置
2026-02-25 15:56:13
1766
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人