虫无涯的博客

本文详细介绍了Windows平台下Claude Code的安装配置与优化全流程，主要内容包括：1）三种安装方式（WinGet、PowerShell脚本、自定义目录部署）；2）对接国内云端模型（如阿里云百炼）的核心配置方法；3）实现界面与输出全中文的设置技巧；4）权限优化方案以取消频繁确认弹窗；5）针对卡顿停滞问题的性能优化策略；6）JSON配置文件的注释与参数屏蔽技巧；7）VSCode插件的配套配置指南。文章提供了可直接复用的配置代码，帮助开发者快速落地并规避常见问题。

文章摘要 本文针对Roo Code调用本地AI模型卡顿问题，分析了五大根源：代码索引开销、上下文处理逻辑过重、保守请求策略、VSCode资源争抢和参数不匹配。通过三步定位法（基准测试、资源监控、API直测）确认问题后，提出六级优化方案：关闭代码索引（大型项目首推）、对齐模型参数（避免盲目拉满）、优化通信配置、精简日志遥测、VSCode环境瘦身及本地模型调优。实测显示，优化后首Token延迟可从12-18秒降至2秒内，资源占用减少70%，性能接近原生API。终极建议包括按需启用插件、换用轻量工具或升级硬件配置

本文介绍了一个纯离线单文件实现的VSCode本地大模型对话界面方案。该方案具备以下特点： 完全离线运行：单个HTML文件，无任何外部依赖，适合内网开发环境 VSCode零侵入：无需安装插件，拷贝即用 标准API兼容：适配OpenAI标准接口，支持Ollama/vLLM等本地模型 持久化存储：利用LocalStorage保存会话历史，数据不丢失 开发友好：支持上传文本/代码文件和图片，适合代码审阅等场景 轻量无残留：纯前端实现，删除即卸载 方案使用原生HTML+CSS+JavaScript实现，包含会话管理、

本文详细介绍了如何在本地部署Ollama+Llama3.1 8B模型，实现离线AI编程助手功能。主要内容包括：Ollama安装及模型存储路径优化（避免占用C盘空间）、Llama3.1 8B模型下载和基础测试、VSCode Continue插件配置对接本地模型（含yaml文件关键配置），以及常见问题解决方案。文章特别强调16G内存的硬件门槛，并提供了低配环境优化方案和替代模型推荐。该方案完全免费、离线运行，特别适合注重代码隐私和网络不稳定的开发者使用。

摘要： 大模型工程落地主要依赖5种实现方式：提示词工程、RAG、微调、续训和智能体开发。AIGC（生成内容工具）与AGI（通用人工智能）需明确区分，当前应用以AIGC为主。模型幻觉（事实错误、虚构内容）是普遍难题，需通过工程方案缓解。5种方案按复杂度排序： 提示词工程（优化指令，零成本）； RAG（检索增强生成，解决知识滞后与私有数据）； 微调（固化专业风格与指令）； 续训（补充领域底层知识，成本高）； 智能体（多步骤任务自主处理）。 选型口诀：优先提示词与RAG，微调适配固定需求，续训和智能体适合高阶场景

就像我刚开始只知道用现成模型聊天，却完全分不清训练和推理的区别，看不懂GPU、NPU、TPU的差异，也不知道为啥大模型永远缺算力、为啥动不动就爆显存。大模型参数本身占用海量显存，再加上对话上下文的KV Cache缓存，很容易触发爆显存，只能靠量化、模型拆分解决。一旦显存装不下，数据会被调度到内存甚至硬盘，IO阻塞严重，训练速度直接腰斩，也就是常说的「爆显存」。当显存、通信都没问题，单卡自身的浮点运算能力就成了上限，模型参数越大，对单卡算力要求越苛刻。

预训练就是把模型扔进海量无标注原始语料里自学，包括全网网页、专业书籍、学术论文、开源代码、百科词条等。学习Token之间的概率分布，说白了就是练高级词语接龙。SFT（监督微调）是在预训练底座之上，用高质量指令问答数据集做有监督训练。本质就是给模型上“规范特训”，教会它理解指令、按格式输出、正经回答问题。预训练：海量语料自学，掌握语言和通识，只会接龙不会聊天；SFT微调：学会理解指令、规范作答，具备基础对话能力，但防不住套路诱导；RLHF/RLAIF对齐。

一、到底什么是大模型？二、大模型为什么会横空出世？不是偶然，是三方合力1. 数据够多：从人工标注到自监督学习2. 算力够强：硬件迭代+分布式训练成熟3. 架构合理：Transformer 成为底层基石简单小结三、大模型三大计量单位，入门必懂避坑1. 参数规模：B为单位2. 训练数据集规模：Token 为核心3. 计算规模：FLOPS 浮点运算四、大模型完整分类体系1. 按模态分类2. 按功能与输出形态分类生成式大模型嵌入模型重排序模型分类模型四、类模型协同工作流程五、大模型开源 vs 闭源 深度对比。

文章摘要： LangSmith作为大语言模型(LLM)应用开发的辅助工具，有效解决了开发者面临的调试和优化难题。它通过提供强大的可观察性功能，将原本复杂的LLM执行流程转化为可视化的"追踪树"，让开发者能清晰掌握应用内部运行逻辑。文章详细介绍了如何集成LangSmith到开发流程中，包括环境准备、代码实现和高级功能应用。其核心价值在于：1)实现开发过程透明化；2)提供精准的调试支持；3)内置评估和监控功能；4)优化提示词工程。这些特性显著提升了LLM应用的开发效率和质量控制能力。

本文介绍了如何利用Dify Agent与AntV打造高效的数据可视化解决方案。通过Dify Agent的低代码特性快速构建数据处理流程，结合AntV丰富的图表库实现专业可视化效果。文章详细演示了从创建Dify Agent、添加AntV工具到设置提示词的全过程，并以一周温度数据为例，展示了生成条形图、柱状图、面积图等多种图表的方法。该方案既能简化开发流程，又能满足个性化可视化需求，为开发者提供了一套可落地的实战参考。

本文介绍了在Dify平台调用硅基流动模型时，如何解决流程编排中不显示思考过程的问题。首先通过硅基流动模型API获取免费模型并创建API key，然后在Dify中下载插件并创建工作流。初始运行发现模型虽能输出详细思考内容（如1+1问题的多角度分析），但前端不显示思考过程。最终通过优化工作流设计，新增文本变量和下拉选项，成功在前端展示模型的完整思考过程。解决方案着重于正确配置模型节点参数，确保输出内容包含<think>标签内的完整推理逻辑。

摘要：本文介绍了在Ubuntu系统上本地部署Dify开源大语言模型平台的详细步骤。Dify是一个支持多模型（如GPT、Llama等）的低代码AI应用开发平台，提供RAG增强、Agent框架等功能。部署过程包括：1）安装Docker和Docker Compose；2）获取Dify源码并配置环境变量；3）解决国内镜像拉取问题；4）通过docker-compose启动服务。完成部署后，用户可通过localhost访问并初始化管理员账号，快速构建生成式AI应用。文中还提供了常见问题排查方法和常用命令参考。

本文介绍了LangChain中Prompt模板的使用方法。Prompt模板可动态生成提示词，提高代码复用性。主要使用步骤包括：导入PromptTemplate类、定义带变量的模板字符串、创建实例并格式化生成提示词。文章展示了基本用法、带默认值的partial()方法、从文件加载模板以及聊天模板ChatPromptTemplate的应用场景，并提供了完整的代码示例。这些模板工具能有效管理提示词，特别适合需要重复生成相似提示的情况。

本文介绍了如何利用LangChain框架结合DeepSeek API实现多轮对话功能。主要内容包括：LangChain的模块化特性及其在智能代理、文档处理等场景的应用；DeepSeek API密钥的获取与配置；通过Python代码实现带有记忆功能的对话链，支持上下文关联的多轮交互。该方案可集成到自动化测试框架中，用于自动生成测试用例等场景，为测试开发人员提供高效的AI辅助工具。文中提供了完整的实现代码，涵盖环境变量配置、对话链创建和交互循环等关键步骤，便于开发者快速上手应用。

Doc2X是一个多功能文档处理平台，支持PDF/图片转Word/HTML/Markdown等格式，具备高精度OCR识别、复杂排版解析、表格图表处理等功能。采用AI技术实现双语PDF翻译、公式识别和对照编辑，适合学术与办公场景。企业用户可通过API集成，个人用户可试用在线体验版。平台通过解析文档、结构化存储和向量化处理，为智能问答和检索提供高质量数据支持。

Mem0是一款专为AI代理设计的开源内存层系统，提供持久化记忆功能。它支持多种记忆类型（工作记忆、事实记忆、情景记忆和语义记忆），能帮助AI代理实现个性化交互、长期知识存储和行为优化。与普通检索系统相比，Mem0具有成本优化、持久保存和自适应等优势。该系统提供托管和自托管两种方案，支持Python和Node.js接入，包含添加记忆、搜索记忆和批量获取记忆等核心功能，搜索响应时间低于50毫秒。Mem0能有效减少令牌使用，提升AI代理的交互质量和效率。