- 博客(24)
- 收藏
- 关注
RSS订阅原创 Whisper库
本文介绍了OpenAI开源的Whisper语音识别系统，包括其特点、支持的模型和语言、安装方法以及使用方式。Whisper支持多语言转录和翻译，提供五种不同规模的模型（tiny到large），支持99种语言识别。文章详细列出了各模型下载地址，并说明安装whisper库和zhconv简繁转换库的步骤。最后介绍了两种调用whisper的方式：直接使用whisper库读取.pt模型文件，或通过transformers库读取.bin/.safetensors模型文件，为语音识别应用开发提供了基础指南。
2026-06-04 10:49:58
606
原创 Text-Generation-webUI 介绍与安装
本文介绍了Text-Generation-webUI工具的主要功能、安装步骤、模型下载方法及启动参数。该工具是基于Gradio框架的大型语言模型Web界面，支持多种模型后端和模式切换，具备LoRA微调、多模态处理等功能。安装过程包括创建conda环境、安装PyTorch和项目依赖，并处理常见错误。模型需放置在指定目录，可通过Hugging Face下载。启动时可配置端口和访问权限，支持多种参数调整模型加载和界面设置。该工具为LLM本地部署和推理提供了便捷的GUI解决方案。
2026-06-03 10:29:27
590
原创 SentenceTransformers 库
本文介绍了SentenceTransformers库的功能及使用方法。SentenceTransformers是一个基于PyTorch和Transformers的Python库，支持100多种语言的文本嵌入计算，适用于语义文本相似性、语义搜索等任务。文章内容包括： 安装指南：提供CPU和GPU版本的安装命令，并验证安装和GPU可用性。 核心功能： 创建模型对象：通过SentenceTransformer加载预训练模型。 文本转嵌入向量：使用encode()方法将句子转换为向量表示。 文本相似度计算：通过ut
2026-06-02 10:07:35
546
原创 GPT4All 本地大语言模型运行环境介绍
摘要： GPT4All是一个开源本地大语言模型运行环境，支持在消费级电脑上离线运行多种GGUF格式模型，强调隐私、开放与易用性。其架构包含C++核心后端（基于llama.cpp）、跨平台桌面客户端（Qt/QML）、多语言绑定（如Python）及模型元数据管理。通过量化技术优化CPU性能，用户可通过GUI或代码（如gpt4all库）直接调用模型，实现本地化对话生成。示例代码展示了模型加载与交互流程，适用于敏感数据处理和离线场景，是低成本体验大模型的理想选择。 （字数：150）
2026-06-01 10:21:10
575
原创 llama-cpp-python 本地部署入门
本文介绍了llama-cpp-python库及其相关技术，主要内容包括： 核心概念：LLaMA是Meta开发的大型语言模型，GGML/GGUF是专为高效运行LLaMA设计的模型格式，其中GGUF是GGML的升级版，支持更多元数据并优化了tokenizer。量化技术可大幅减小模型体积（如70B模型从120GB压缩至38.5GB）。 本地部署：通过llama-cpp-python（LLaMA.cpp的Python绑定）可在CPU/GPU上运行量化模型，需注意内存和显存需求。GGUF模型为单文件格式，包含完整的模
2026-05-31 12:09:20
771
原创 模型量化技术
本文系统梳理了模型量化技术，包括基本概念、精度类型、量化过程分类及主流方法。主要内容涵盖： 模型量化基础：通过降低数值精度（如FP32→INT8/INT4）减少模型大小和计算资源需求，同时控制精度损失。 量化方法对比： 训练时量化（QAT）如QLoRA 训练后量化（PTQ）如GPTQ/AutoGPTQ 不同位宽（16/8/4-bit）对显存和精度的影响 关键技术详解： GPTQ：面向Transformer的INT4权重量化方案，保留FP16激活值，通过动态反量化加速推理 AutoGPTQ：HuggingFa
2026-05-30 13:24:37
472
原创 MRKL与零次学习
本文介绍了MRKL系统和零次学习(ZSL)的核心概念。MRKL系统通过路由器将输入分发给语言模型、计算器等专家模块，解决了传统语言模型在实时信息、专有数据和复杂推理方面的局限性。零次学习则使模型能够借助语义描述识别未见过的类别，但面临领域漂移、枢纽点问题和语义间隔等挑战。MRKL结合了神经与符号方法的优势，而零次学习模仿了人类的推理能力，二者都是提升AI系统泛化能力的重要研究方向。
2026-05-29 10:11:25
607
原创 MinerU与BabelDOC与KTransformers与OpenAI API库
本文整理了MinerU、BabelDOC、KTransformers与OpenAI API库等工具的应用指南。主要内容包括：MinerU的PDF转换功能及安装配置方法，提供两种模型权重下载方式；BabelDOC的多语言文档处理能力；KTransformers的高效推理特性；以及OpenAI API库的使用示例。文章详细介绍了各工具的安装步骤、命令行操作、Python API调用方法，并包含模型推理、向量数据库操作等代码示例，帮助开发者快速上手这些AI应用工具。
2026-05-28 11:17:21
784
原创 Gemini CLI 与 Repomix
本文整理了 Gemini CLI 与 Repomix 的基础使用方法。Gemini CLI 适合在终端中直接调用 Gemini 模型进行问答、编程辅助和文件编辑；Repomix 适合将代码仓库整理成大模型可阅读的单文件上下文，方便与 Claude、ChatGPT、DeepSeek、Gemini 等模型配合使用。实际使用时，需要注意代理、Google 账号授权、API/项目环境变量配置，以及根据模型需求选择 plain、xml 或 markdown 等输出格式。
2026-05-27 10:28:02
706
原创 Milvus 向量数据库
本文介绍了Milvus向量数据库的核心概念、性能特点和部署方式。Milvus是一款开源的高性能向量数据库，支持多种向量索引类型和搜索功能，具备云原生架构和分布式扩展能力。文章详细阐述了Milvus的关键特性，包括非结构化数据处理、多模态搜索、大模型赋能等，并对比了其与内存数据库的性能差异。最后提供了Milvus的三种部署方案，重点说明了Docker安装Standalone版本的具体步骤。Milvus适用于需要高效处理大规模向量数据的AI应用场景。
2026-05-26 10:08:49
926
原创 向量数据库
本文介绍了向量数据库在垂直领域应用中的关键作用。主要内容包括：1）大模型在专业领域的局限性，需要通过向量数据库结合企业知识库来提升服务深度和准确性；2）向量和嵌入向量的概念及其在语义理解中的重要性；3）向量数据库的核心功能是高效存储和检索向量数据，支持相似度搜索；4）详细说明了生成嵌入和向量数据库的工作流程；5）重点介绍了Chroma向量数据库的安装、基本操作和代码示例，包括创建集合、添加文档和查询等核心功能。文章为开发者在专业领域应用大模型和向量数据库提供了实用指导。
2026-05-25 10:24:30
550
原创 LLM基础知识（二）
本文系统介绍了LLM（大型语言模型）相关的基础工具和概念。主要内容包括：1）LangChain系列工具（LangChain框架、可视化工具LangFlow/LangGraph、监控工具LangSmith）的功能特点和使用场景；2）LangGraph新推出的四大预构建Agent框架（Swarm多智能体协作、LangMem长期记忆管理、TrustCall JSON操作工具、Supervisor智能体调度系统）；3）Function Calling技术原理，即模型如何通过结构化输出来调用外部工具。这些工具和技术为
2026-05-24 14:15:40
635
原创 LLM基础知识（一）
本文系统梳理了AI与大语言模型(LLM)相关核心概念，包括LLM、GPT、LLaMA等模型的定义与特点，以及Ollama推理引擎、RAG检索增强生成技术和Agent智能体的工作原理。文章还介绍了Dify、Coze等主流LLM开发框架的优缺点，为理解大语言模型技术体系提供了清晰的脉络。内容涵盖模型架构、推理部署、应用开发等关键环节，适合作为AI领域的技术参考指南。
2026-05-23 10:48:46
719
原创 Diffusion 与 PEFT/LoRA
本文摘要： 文章介绍了Diffusion文生图模型及其应用框架Diffusers，重点讲解了Stable Diffusion XL（SDXL）模型的本地加载与推理流程。内容包括：1）Diffusion模型与LLM的区别，Diffusers框架安装；2）SDXL模型下载与本地调用方法；3）在LangChain/LangGraph中封装文生图工具的实现；4）详细解析了StableDiffusionXLPipeline的组件构成和参数配置，包括模型精度、显存优化等技巧；5）完整说明了文生图推理流程的7个步骤，以及
2026-05-22 12:46:47
746
原创 Tokenizer与Embedding
本文介绍了自然语言处理中的Tokenizer（分词器）和Embedding（词嵌入）技术。Tokenizer负责将文本拆分为单词或子词，并将其转换为数字索引；Embedding则将索引映射为低维稠密向量表示。文章详细讲解了TensorFlow中Tokenizer和Padding的使用方法，以及Hugging Face框架中Tokenizer的功能特点，包括分词、词汇化、添加特殊标记等处理流程。同时指出Hugging Face预训练模型已内置Embedding层，简化了使用流程。最后通过代码示例展示了Toke
2026-05-21 10:00:34
681
原创 Transformers 模型推理
本文介绍了使用Hugging Face Transformers库进行预训练模型推理的方法。主要内容包括：1) 通过AutoModelForCausalLM.from_pretrained()加载预训练模型权重；2) 使用AutoTokenizer加载文本编码器；3) 模型量化配置（4bit/8bit）以优化显存使用；4) 直接使用模型对象进行推理的示例代码，展示如何编码输入、生成文本和解码输出。文章还对比了不同模型类和文本编码类的适用场景，并推荐使用pipeline()简化推理流程。
2026-05-20 10:31:56
526
原创 LangChain工具调用Agent与MCP
本文介绍了LangChain工具调用Agent的相关内容，包括Agent的工作流程、创建和运行方法。文章首先对比了工具(Tool)与代理(Agent)的区别，指出Agent能协调多个工具并自主决策。然后详细讲解了创建工具的两种方式：使用Tavily搜索引擎创建搜索工具，以及通过文档加载、文本分割和向量数据库构建检索器工具。最后说明了如何将检索器封装为可被Agent调用的工具。全文为开发者提供了在LangChain框架下实现智能代理的实用指南。
2026-05-18 11:17:50
745
原创 LangChain 工具
LangChain工具摘要 LangChain工具是代理、链或聊天模型与外界交互的接口。工具包含名称、描述、输入格式和功能函数等属性，这些信息会作为上下文提供给LLM。LangChain提供四种创建工具的方式：Tool()方法(已废弃)、@tool装饰器(推荐)、StructuredTool.from_function类和BaseTool继承类。其中@tool装饰器是最简单的方式，可以定义工具名称、描述、参数模式等，支持异步函数和Runnable接口。工具的正确配置能帮助LLM更好地理解和使用工具，简单的工
2026-05-17 12:27:39
517
原创 LangChain多模态输入与自定义输出
LangChain多模态输入与自定义输出摘要 本文介绍了LangChain框架中多模态数据处理与结构化输出的实现方法。主要内容包括： 多模态输入：支持图片分析功能，通过image_url或base64编码传入图片，配合文本指令实现多模态交互。示例展示了使用ChatOpenAI模型分析多张图片天气差异的场景。 通义千问集成：详细说明如何通过MultiModalConversation.call()方法调用通义千问多模态模型，包括消息格式定义、模型参数配置，并演示了封装为RunnableLambda实现链式调用
2026-05-16 11:30:46
457
原创 LangChain 消息管理与聊天历史存储
本文介绍了LangChain中的消息管理与聊天历史存储功能。主要内容包括：1) 使用内存存储会话历史，通过session_id区分不同对话；2) 构建消息存储的两种方法，包括自定义get_session_history()函数和使用RunnableWithMessageHistory包装器；3) 实现带历史记录的对话流程，展示了如何在不同session_id下保持或重置对话上下文。文章还提供了完整的代码示例，演示了如何创建提示模板、配置模型、管理会话历史以及调用带历史记录的对话链。通过这种方式，开发者可以轻
2026-05-15 10:13:36
585
原创 LangChain服务部署与链路监控
本文介绍了LangChain服务部署与链路监控相关内容，主要包括LangServe服务部署、LangChain CLI工具使用以及链路监控方法。LangServe可将LangChain链部署为REST API，基于FastAPI和Pydantic构建，提供自动模式推断、API文档和高效接口。文章详细说明了安装步骤、项目创建流程、常见报错解决方案及关键依赖版本要求，并介绍了使用LangSmith进行链路监控和调试的方法。
2026-05-14 10:03:14
594
原创 LangChain工作流
本文介绍了LangChain工作流的核心内容，包括模型类型与输入输出、LCEL表达式语言及其优势。主要内容涵盖：1) LangChain封装的两类模型（大语言模型LLM和聊天模型Chat Models）的输入输出差异；2) LCEL表达式语言的特性，如流式处理、异步支持、并行执行和重试机制；3) 通过代码示例展示了LLM和Chat Models的实际应用场景。文章为开发者提供了LangChain工作流的基础知识和技术要点，帮助理解如何构建高效可靠的AI应用链。
2026-05-13 09:53:37
528
原创 LangChain 提示词工程
本文详细介绍了LangChain中的提示词工程(Prompt Engineering)，包括PromptTemplate和ChatPromptTemplate的使用方法。主要内容涵盖：1) 提示词模板的基本概念与组成，包含指令、示例和问题三部分；2) 新旧版本导入方式的区别；3) 如何创建和格式化提示词模板，包括部分参数填充；4) 聊天消息提示词模板的特殊性，区分system、human、ai等不同角色消息。文章通过具体代码示例展示了模板创建、参数填充和格式化操作，适合LangChain初学者和需要系统学习
2026-05-12 16:30:33
719
原创 LangChain介绍与核心包
本文介绍了LangChain框架的核心概念与组件。LangChain是一个用于构建大语言模型(LLM)应用的开发框架，主要特性包括：LLM和提示管理、任务链(Chain)编排、LCEL表达式语言、RAG数据增强生成、Agents智能体等。框架由多个包组成，包括基础抽象层(langchain-core)、第三方集成(langchain-community)和核心功能(langchain)。文章详细说明了各核心包的安装方法，包括主程序包、LangGraph状态管理、LangServe API部署工具等，并介绍了
2026-05-11 15:31:42
1105
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人