小志的博客

原创 AI大模型实战——如何本地化部署开源大模型ChatGLM3-6B

本文介绍了大模型选择与部署的实践指南。重点分析了ChatGLM3-6B作为开源模型的优势：62亿参数规模适中，单张3090显卡即可微调和推理，适合中小企业应用。文章详细说明了GPU资源获取方案，包括二手显卡购买、云服务租赁等。在部署环节，提供了从环境准备到模型下载、命令行和Web界面启动的完整流程，并介绍了量化部署等显存优化方案。最后解释了max_length、temperature等关键参数的调优建议。整体为开发者提供了从选型到落地的实用技术方案。

原创 AI大模型实战——探索智能体世界：LangChain与RAG检索增强生成

本文介绍了AI大模型的局限性以及AI Agent（智能体）的概念与作用。大模型在数据时效性、复杂任务处理、代码生成等方面存在不足，而AI Agent作为以大模型为核心控制器的代理系统，能够弥补这些缺陷。文章重点分析了LangChain技术框架，详细阐述了其六大核心模块（模型I/O、检索、代理、链条、内存、回调）的功能与交互方式，并介绍了LCEL表达式语言的管道式编程方法。最后指出LangChain已发展为一个包含开发框架、DevOps平台、API管理工具的完整AI应用开发生态，展现了AI技术对软件开发流程的

原创 AI大模型实战——学好提示工程，轻松驾驭大模型

摘要： 提示工程是优化AI大模型交互的关键技术，通过设计精准的提示（Prompt）引导模型生成高质量输出。随着提示工程师岗位的兴起（年薪可达30万美元），其重要性日益凸显。提示不同于简单提问，而是基于模型自回归训练原理，通过详细描述任务、上下文、示例、角色、格式和语气等模块（核心为任务和上下文），提升模型输出的准确性。例如，为生成Web登录代码，需明确框架、加密方式及步骤。掌握提示工程实质是提升“AI领导力”，通过高效沟通释放大模型的潜力。

原创 AI大模型实战——从工程学角度看ChatGPT为什么会崛起

OpenAI 母公司是 OpenAI Inc，属于非营利性质组织，这种情况下资本无法进入，所以后来成立了一家子公司，叫 OpenAI LP，现在我们常说的 OpenAI，其实就是 OpenAI LP，这是一家纯粹的商业化公司，这家公司设置了最高 100 倍的回报上限，以此来权衡盈利和非盈利属性，也可以叫做“有限盈利”，既迎合资本家利益，也看似符合母公司非盈利组织的创建初衷。当模型完成大规模训练后，接下来就是面世了，OpenAI 的玩法很直接，直接产品化，让大家随便玩。有这么多数据了，接着就要进行预训练了。

原创 AI基础入门（模型篇）——如何面对不断更新的大模型

摘要： 大模型开发中，"变"与"不变"需平衡处理。API的统一性（如OpenAI标准）和基础能力（如推理、多模态）是稳定要素，开发者应聚焦业务整合而非过度追求模型升级。架构设计可通过"LLM Router"实现模型分流（如本地处理简单任务、云端处理复杂请求），以优化成本与性能。对于"变"的部分，需关注三点：新功能创造场景（如GPT-4V的图像识别）、性能跃升（如GPT-3.5到4）、成本变化（如开源模型替代方案）。特定场景模型（

原创 AI基础入门（模型微调）——创建一个属于自己的大模型

模型微调是对预训练大模型进行局部参数调整的技术，能够以较低成本实现模型定制化。相比训练全新大模型动辄数百万美元的成本，微调只需调整部分神经元连接，大大降低了计算开销。在实际应用中，微调常与RAG（检索增强生成）结合使用，先用RAG处理新数据，积累到一定量后再进行微调，既保证数据时效性又提升模型质量。 微调流程包括数据准备、模型训练、评估和使用四个步骤。数据准备是关键环节，需要足够数量且高质量的训练样本。主流工具如LLaMA Factory提供了图形化界面，支持多种数据格式和训练方法，适合初学者使用本地部署。

原创 AI基础入门（开源模型）——如何在项目中使用开源模型

本文介绍了两种封装大模型的方法：使用LangChain和集中接入。LangChain通过抽象层屏蔽不同模型的差异，支持无缝切换，并提供了Hugging Face模型的集成示例。集中接入方案则将模型管理移出代码，以One-API和Ollama为例，展示了本地部署和API调用的方法。Ollama支持多种模型版本，可通过命令行或API访问，适用于私有部署和成本控制。两种方法各有优势，可根据项目需求灵活选择。

原创 AI基础入门（开源模型）——如何使用Hugging Face上的模型

摘要： 本文介绍了使用本地部署的开源大模型替代GPT等第三方服务的必要性，尤其适用于注重数据安全的企业。重点介绍了Hugging Face作为AI开源社区的核心作用，并演示了通过高层接口（pipeline）和底层接口调用模型的两种方式。高层接口简化了模型调用流程，支持文本生成、翻译等多种任务；底层接口则通过Tokenizer和模型生成实现更灵活的控制。文章还提及了访问权限、镜像站配置等实践问题，为开发者提供了本地部署大模型的实用指南。

原创 AI基础入门（应用开发篇）——集中接入：将大模型统一管理起来

本文介绍了大模型集中接入的必要性及实现方法。通过构建大模型代理（如One-API），可以解决多账号管理、限流控制、供应商切换等问题。集中接入后，应用只需对接标准OpenAI接口，而代理负责处理不同供应商的API差异、本地模型接入等复杂性。以One-API为例，文章演示了如何通过Docker部署代理服务，配置渠道模型、API密钥等核心功能，并展示了模型重定向等高级用法。这种架构简化了AI应用开发，将底层复杂性交由代理处理，开发者只需关注业务逻辑实现。

原创 AI基础入门（应用开发篇）——缓存：节省使用大模型的成本

摘要： 本文探讨了缓存技术在大模型应用中的重要性及其实现方式。缓存能显著提升访问速度并降低成本，尤其适用于响应较慢的大模型服务。LangChain提供了统一的缓存接口，支持精确缓存（如内存缓存）和语义缓存（如基于Redis的RedisSemanticCache）。精确缓存要求输入完全匹配，而语义缓存通过自然语言理解实现相似意图的匹配。文中通过代码示例演示了两种缓存的使用，并指出LangChain当前实现中因JSON字符串噪声导致语义缓存可能误匹配的问题，需通过自定义逻辑（如FixedSemanticCach

原创 AI基础入门（应用开发篇）——长期记忆：让大模型更了解你

摘要 本文探讨了大模型记忆功能的实现方案，重点介绍了长期记忆的解决方案Mem0。大模型本身无状态，记忆功能需通过提示词传递内容实现。短期记忆通过存储聊天历史实现，但受限于上下文窗口大小。长期记忆通过向量数据库存储历史对话内容，使用时进行语义检索。Mem0作为一个开源记忆层项目，采用简洁API设计，将对话内容提取为事实存入向量数据库，实现长期记忆功能。文章通过代码示例展示了如何结合LangChain使用Mem0，在对话中检索相关上下文并存储交互历史，使AI能够记住用户偏好和历史对话，实现更个性化的服务。

原创 AI基础入门（应用开发篇）——用LangChain实现一个Agent

本文介绍了基于LangChain框架实现的Agent系统。通过代码示例展示了如何定义工具函数（如计算和查询水果单价），并使用@tool装饰器将其转换为Agent可调用的工具。重点解析了ReAct Agent的提示词模板设计，其中包含工具信息、思考过程和执行步骤。最后说明了如何将模型、工具和提示词组装成可执行的Agent，并通过AgentExecutor实现循环执行机制。整个系统实现了问答过程中动态调用工具并逐步推理的功能。

原创 AI基础入门（应用开发篇）——从头实现一个Agent

本文介绍如何基于ReAct模式实现一个Agent系统。ReAct模式包含思考(Thought)、行动(Action)和观察(Observation)三个阶段循环。文章首先实现了一个基础的聊天机器人，然后详细阐述了ReAct提示词的设计，包括模式描述、可用动作和示例会话。可用动作包含计算和查询水果价格两个功能，通过Python函数实现。最后通过正则表达式和字典将动作映射到具体实现，构建完整的Agent系统。该实现避免了直接使用LangChain等框架，采用底层方式帮助理解Agent的工作原理。

原创 AI基础入门（应用开发篇）——Agent：从聊天到工作

本文探讨了AI Agent（智能代理）的概念及其与大模型的结合应用。Agent是一种能够自主感知环境、做出决策并采取行动达成目标的系统，其核心在于具备灵活性的"大脑"。随着大模型的发展，其推理能力为Agent提供了理想的"大脑"，催生了AutoGPT等新一代智能代理。一个完整的Agent系统通常包含规划、记忆和工具三大组件：规划负责任务分解与优化，记忆提供短期和长期信息存储，工具则用于外部交互。文章详细描述了Agent的工作流程，即通过任务分解、执行评估和循环处理来完

原创 AI基础入门（应用开发篇）——自己动手实现一个RAG应用

本文介绍了RAG（检索增强生成）技术的两个核心过程：索引和检索生成。在索引部分，通过TextLoader加载文本信息，使用RecursiveCharacterTextSplitter拆分文档，并存储到Chroma向量数据库中。检索生成部分展示了如何基于向量数据库构建RAG应用，包括相似度搜索、token计数以及对话历史管理等关键技术实现。文章还提供了完整的代码示例，展示了从文档处理到检索生成的全流程实现方案。

原创 AI基础入门（应用开发篇）——RAG：让大模型知道更多东西

摘要：RAG（检索增强生成）是一种低成本且灵活的方法，用于让大模型掌握特定业务知识。其核心流程包括检索相关资料、增强提示词并生成回答。与传统数据库不同，RAG依赖向量数据库进行语义匹配，通过Embedding模型将文本转换为向量。索引过程涉及信息提取、文本拆分、向量转换和存储。尽管RAG技术快速发展，涉及混合搜索、重排序等新方向，但基于现有框架如LangChain，开发者可以较容易地实现RAG应用。

原创 AI基础入门（应用开发篇）——从零实现一个角色扮演的聊天机器人

本文介绍了如何利用LangChain框架开发三种不同功能的聊天机器人。首先实现了一个基础的命令行聊天机器人，但发现其无法记住对话历史。接着通过引入RunnableWithMessageHistory和InMemoryChatMessageHistory实现了能记住上下文的聊天机器人。最后展示了如何通过提示词模板让聊天机器人扮演特定角色（如孔子），使其保持一致的对话风格。文章还解释了LangChain中Runnable接口的关键作用，以及如何通过会话ID管理不同用户的聊天历史。这些示例展示了聊天机器人从简单到

原创 AI基础入门（应用开发篇）——LangChain：核心抽象

LangChain是一个AI应用开发框架，提供三个核心抽象：ChatModel负责生成输出，支持同步和流式调用；PromptTemplate分离开发者提示词和用户输入；OutputParser处理模型输出。通过LangChain表达式语言(LCEL)可将这些组件串联成链，简化大模型应用开发。文章通过代码示例展示了如何实现英译中任务，并介绍了流式响应和提示词模板的使用方法。

原创 AI基础入门（应用开发篇）——LangChain：一个AI应用开发生态

摘要： LangChain是一个快速演化的开发框架，用于构建基于大语言模型的应用，其核心价值在于提供基础抽象（如模型、解析器、提示词模板等）和表达式语言（LCEL），通过组件组装成链实现功能。LangChain包含三个层次：开发框架（核心抽象与LCEL）、社区生态（各类模型、工具、提示词模板的实现）和扩展生态（如LangServe、LangSmith等工具）。开发者可根据需求选择是否使用LangChain，其丰富的示例和资源也使其成为学习大模型应用开发的重要材料。框架虽强大，但需结合实际场景评估其适用性。

原创 AI基础入门（应用开发篇）——OpenAI API：LLM编程的事实标准（下）

本文介绍了大模型聊天应答的核心内容与结构。首先解释了标准HTTP应答的常见参数，包括id、object、created、model和system_fingerprint等元数据信息。重点分析了choices字段，包含index索引、finish_reason停止原因以及message消息内容，其中message可能包含常规回复或工具调用(tool_calls)。在工具调用场景下，详细说明了function调用的id、type和参数结构。此外还展示了开启logprobs选项时返回的token概率信息，包括每个

原创 AI基础入门（应用开发篇）——OpenAI API：LLM编程的事实标准（上）

本文介绍了OpenAI API的核心功能和编程接口，重点分析了聊天补全接口/v1/chat/completions的使用方法。文章首先指出学习OpenAI API的重要性，因其已成为行业标准。随后详细解析了API请求参数，将其分为核心参数（如model、messages、temperature等）、工程参数（如user、n）、工具参数（如tools、tool_choice）和模型参数（如seed、frequency_penalty等）。文章还提到API的兼容性和通用性，建议开发者掌握这些核心概念，以便快速上

原创 AI基础入门（大模型基础篇）——提示工程：更好地释放LLM的能力

本文介绍了大模型应用开发中的提示词工程（Prompt Engineering）。提示工程旨在通过优化提示词编写，提升大模型处理复杂任务的能力。文章概述了几种核心提示技术：零样本提示（Zero-Shot Prompting）适用于简单任务；少样本提示（Few-Shot Prompting）通过提供示例增强模型理解；思维链提示（Chain-of-Thought Prompting）引导模型分步推理以提高准确性；ReAct框架（Reasoning+Acting）则结合推理与外部工具调用，扩展模型能力边界。这些技术

原创 AI基础入门（大模型基础篇）——提示词：怎样与大模型沟通

本文从用户视角探讨如何有效使用GPT，提出"定义任务目标-下达命令-调整结果"的三步使用法。核心在于掌握提示词公式：定义角色+背景信息+任务目标+输出要求。通过设定角色（如医生、历史学家）可获取更专业的回答；提供充分背景信息能提高回答相关性；明确任务目标和输出要求（如格式、字数）可精准控制结果。文章强调灵活运用公式，通过多次对话补充信息优化回答，并指出该方法适用于各类大模型交互。

原创 AI基础入门（大模型基础篇）——技术视角：你应该知道的LLM基础知识

本文从技术视角解析了大模型的工作原理，主要介绍了三个核心概念：Token、温度和Embedding。首先，大模型通过逐个添加Token来生成文本，Token数量直接影响上下文窗口大小和计费标准。其次，通过引入温度参数控制随机性，温度越高输出越多样化。最后，解释了字符串如何通过One-Hot编码和神经网络压缩转化为向量形式的Embedding，这是AI处理各类输入的基础。这些概念对理解大模型应用开发至关重要，Token决定处理能力，温度影响输出风格，Embedding则是信息转换的关键步骤。

原创 AI基础入门（大模型基础篇）——用户视角：你应该知道的LLM基础知识

比如，当用户提问与自杀相关的问题时，GPT 不会简单地给出“建议自杀”的回答，而会尽力引导用户寻求专业的帮助和支持，避免对用户造成不良影响。例如，模型的计算能力不足，或者模型的结构不够优秀，都会对模型的回答产生一定的影响。至此，我们已经对大模型有了一个初步的了解，这些内容虽然是针对 GPT 进行讲解的，但由于技术上的通用性，其它的 LLM 也基本上可以这样理解。：人类语言是具有歧义性的。在下面的例子里，我问了 GPT 一个不恰当的问题，GPT 没有回答我怎么做，而是提醒我，这种做法是不合适的。

原创 WindowServer 2012R2——window server2012 R2 无网安装.netFramework 3.5

本文详细介绍了在Windows Server 2012 R2系统中安装.NET Framework 3.5的完整步骤。首先需要下载sxs安装文件并解压备用，然后通过控制面板进入"启用或关闭Windows功能"界面。关键步骤是指定备用源路径并填写sxs文件所在目录，最终完成安装。该教程解决了安装SQL Server 2012时要求先安装.NET Framework 3.5的问题，文中配有详细的操作截图指引，适合技术人员参考使用。

原创 AI基础入门（开篇词）——普通程序员如何迈进AI时代

摘要： AI时代下，程序员仍可通过工程化能力将大模型技术与实际业务结合。基于大模型的AI应用开发核心在于将部分规则判定交由模型处理，开发者需掌握提示词编写、OpenAI API和LangChain框架等技能。课程涵盖大模型基础、应用开发（如RAG和Agent）及开源模型实践，重点传授长期有效的技术逻辑（如提示工程），而非特定模型细节，帮助普通程序员快速适应AI开发需求，降低技术迭代的过时风险。

原创 git——Git 代码管理模型(GitLab Flow 模型)

GitLab Flow是一种结合简洁性与严格环境控制的代码分支管理模型，适用于需要持续交付的中大型项目。其核心是"上游优先"原则，所有变更必须通过主分支（master）流转，再通过CI/CD自动同步到测试和生产环境。主要分支包括master（唯一可信代码源）、功能分支和环境分支。工作流程强调自动化测试、代码评审和部署隔离，严格禁止直接修改环境分支。该模型优点在于环境隔离严格、版本追溯性强，但要求团队具备完善的CI/CD工具链和规范流程。GitLab Flow特别适合监管严格行业或中等发布

原创 git——Git 代码管理模型(GitHub Flow 模型)

摘要： GitHub Flow是一种简洁高效的Git分支管理模型，适用于小型团队或快速迭代项目。其核心是仅使用master分支和短暂的功能分支（feature branch），开发完成后通过Pull Request（PR）合并到master并立即部署。流程包括：创建功能分支、开发、提交PR、代码审查/测试、合并及部署。优点是简单高效、支持敏捷开发、减少冲突；缺点是缺乏复杂版本管理能力，依赖测试/审查机制，需完善的自动化部署。适用场景包括小型团队、持续交付项目及自动化能力强的团队。

原创 git——Git 代码管理模型(GitFlow 模型)

GitFlow是一种经典的分支管理模型，适用于中大型团队协作。它包含master（稳定生产代码）、develop（核心开发分支）、feature（功能开发）、release（版本发布）和hotfix（紧急修复）五种分支类型，形成完整的开发-测试-发布流程。优点在于分工明确、降低冲突风险、保证代码稳定性；缺点是复杂度高、学习成本大，不适合小型项目或持续交付场景。该模型最适合需要阶段性发布、追求高稳定性的中大型团队项目。

原创 idea官网选择具体版本的下载步骤

原创 Mysql——分库分表后id冲突解决方案（即分布式ID的生成方案）

分库分表后ID冲突问题及解决方案 摘要： 分库分表后自增ID会导致主键冲突，本文介绍了5种分布式ID生成方案： 设置自增步长：通过不同表设置不同起始值和步长避免冲突，但无法扩容； 数据库号段：维护号段表，预分配ID范围，但存在单点故障风险； UUID方式：简单易用但影响查询和插入性能； Redis生成：利用incr命令原子自增，需考虑持久化问题； 雪花算法：结合时间戳、节点ID和序列号生成唯一ID，性能优异但存在时间回拨问题。 每种方案都分析了原理、实现方式和优缺点，可根据业务场景选择合适的ID生成策略。

原创 Mysql——前模糊索引失效原因及解决方式

摘要：前模糊索引失效的解决方案 前模糊查询导致索引失效是因为B+树无法对不确定首字符进行有序检索。解决方法包括：1)建立反向索引，将字段值倒序存储，改用后模糊查询；2)限定查询时间范围缩小扫描量；3)使用索引覆盖避免回表；4)引入第三方搜索引擎。这些方案可有效提升模糊查询性能。

原创 mysql——count(*)、count(1)和count(字段)谁更快？有什么区别？

本文探讨了MySQL中count()、count(1)和count(属性)的性能差异。通过示例表测试发现，count()和count(1)均统计总行数（包括NULL值），而count(属性)只统计非NULL值行数。MySQL官方文档证实count()和count(1)在功能与性能上完全一致，执行计划显示count()会被优化为count(0)。理论上count(*)略优，因无需SQL优化步骤，但实际性能差异极小。开发者可根据编码规范选择使用，无需过度关注性能差异。

原创 MySql——聚簇索引（主键索引）和非聚簇索索引（非主键索引）引区别（即聚集索引和非聚集索引区别）

本文主要介绍了聚簇索引（主键索引）和非聚簇索引（非主键索引）的区别。聚簇索引将索引和数据存储在同一个B+树中，查询效率较高；而非聚簇索引需要先查询索引再回表获取数据，效率较低。在InnoDB引擎中，主键索引采用聚簇索引结构，数据和索引存储在同一个文件中；而MyISAM引擎则采用非聚簇索引结构，数据和索引分开存储，查询时需要进行回表操作。文章通过图解和存储引擎对比，详细说明了两种索引的结构特点和性能差异，为数据库索引选择提供了参考依据。

原创 MySql——binlog和redolog的区别

MySQL中的binlog和redolog虽然都记录数据修改，但二者功能不同。binlog是所有存储引擎共用的日志，记录所有操作日志，主要用于主从同步和数据恢复；redolog是InnoDB引擎特有的日志，用于事务数据恢复和BufferPool的崩溃恢复。两者不能互相替代，binlog针对磁盘数据恢复，redolog则确保事务完整性。

原创 MySQL——binlog刷盘机制

MySQL的binlog日志提供三种刷盘策略，通过sync_binlog参数配置：0表示实时写入PageCache但延迟刷盘（性能最高但可能丢失数据）；1表示每次事务提交都强制刷盘（最安全但性能低）；2表示N次事务提交后刷盘（平衡方案）。MySQL 5.7.7前默认值为0，之后改为1。不同策略在数据安全性和性能间取得平衡，适用于不同业务场景。

原创 Mysql——如何做到Redolog崩溃后恢复的

MySQL引擎层BufferPool工作原理：执行修改语句时，InnoDB首先检查BufferPool缓存，若无则从磁盘加载数据页到BufferPool，修改后成为脏页并记录UndoLog。提交时通过RedoLog保证崩溃恢复，其顺序写入特性比直接写磁盘更高效。InnoDB提供三种刷盘策略：0（延迟1秒写）、1（实时写最安全）、2（系统缓存写），默认采用策略1确保数据不丢失。RedoLog结合BufferPool机制实现了事务持久性和高性能的平衡。

原创 MySQL——MySQL引擎层BufferPool工作过程原理

MySQL引擎层BufferPool工作过程：执行修改语句时，首先检查BufferPool中是否存在目标数据，若不存在则从磁盘加载整个数据页到BufferPool。修改数据后，BufferPool形成脏页（与磁盘数据不一致），修改前的数据存入UndoLog用于回滚。提交事务时，脏页数据同步到磁盘文件，恢复为正常页。整个过程通过BufferPool减少磁盘I/O，提高性能。

原创 MySql——B树和B+树区别（innoDB引擎为什么把B+树作为默认的数据结构）

本文对比分析了B树和B+树的异同点。二者共同特征是通过有序索引实现快速数据定位，且都遵循"左小右大"的存储原则，减少磁盘IO次数。主要区别在于：B树每个节点存储键值对，适合随机读写；B+树非叶节点仅存键指针，叶节点通过链表连接，存储密度更高，特别适合范围查询和顺序访问。实际应用中，B+树因其更优的查询效率和范围查询性能，成为数据库索引的优先选择。