axibazZ的博客

摘要： LangGraph 是一种基于有向图的工作流设计工具，突破了传统线性链式结构的限制。其核心组件包括全局共享的 State、功能节点(Node)、流转边(Edge)和完整图(Graph)，通过条件分支和循环机制支持复杂流程。典型应用场景包括智能客服意图识别、代码自动修复等，能以更简洁的代码实现多轮对话、工具调用等复杂逻辑。安装简单，通过定义状态、编写节点函数、构建图形结构即可快速开发智能应用。

随着大模型应用进入生产环境，可观测性成为关键挑战。LangSmith和Phoenix两大工具形成互补：LangSmith提供云端自动化追踪和预置仪表盘，适合快速调试和业务监控；Phoenix则专注本地化漂移检测和可视化分析，满足合规需求。最佳实践表明，开发阶段使用LangSmith监控性能指标，投产后结合Phoenix进行算法优化，可实现完整的可观测闭环。二者配合能有效解决延迟飙升、成本失控和回答错误三大典型问题，帮助团队从黑盒调试转向数据驱动的持续优化。

模型A) 原生 ChatGPT-3.5B) 自己 LoRA 微调 7B（Chinese-Alpaca-7b + 6k 摘要数据）数据：50 篇中文财经新闻（平均 800 字）指标：ROUGE-L、BERTScore、LLM 裁判（相关性+准确性+流畅度）成本：脚本指标 0 元，LLM 裁判 ￥0.08/条 × 50 = ￥4均衡 → Accuracy不均衡 → Macro-F1 + PR-AUC + Cohen κ脚本指标（BLEU/ROUGE）快速迭代。

数据连接器 + 索引 + 检索 + 后处理10 行代码让 LLM 读懂你的私域文件；混合召回 + 重排 + HyDE 让正确率提升 15~30%；动态插入 + 版本管理让知识库“热更新”；与 LangChain/vLLM 无缝集成，直接生产上线。

LangChain = 模型 × 提示词 × 记忆 × 工具 × 链 × 代理 的“六边形战士”。用Prompts把需求讲清；用Indexes让模型“多读书”；用Memory让它“长记性”；用Tools给它“手脚”；用Agents让它“自己动”；用Callbacks让一切“可观测”。

LLaMA-Factory是一个低代码大模型微调框架，相比原生脚本具有显著优势：仅需5行代码、零学习成本、18GB显存即可训练7B模型，支持SFT/RLHF/DPO/PPO全流程。通过WebUI可快速完成数据准备（支持微信聊天记录转换）、模型训练（QLoRA优化）、评估和部署。该框架内置DeepSpeed多卡并行、断点续传、可视化监控等功能，训练后模型可导出为单文件并兼容vLLM部署。实测微调后模型回复更自然，且提供DPO等进阶优化选项，适合从入门到生产级应用的全场景需求。

文章摘要 本文系统介绍了大语言模型微调技术（Fine-Tuning），重点聚焦生产落地最成熟的SFT+LoRA/QLoRA方案。微调能以1%算力获得90%模型能力，是企业应用的最佳选择。文章详解了微调技术演进（从全参量到QLoRA）、核心概念（SFT/LoRA/RLHF等）和完整9步流程，并通过中文医疗问答模型实战演示：从数据制备（20万条医学数据）、基座选择（Qwen2.5-7B）、QLoRA配置（仅训练0.8%参数）、训练评估到vLLM部署。关键经验包括：领域指令≥1万条即可显著提升7B模型表现，单卡4

摘要： Hugging Face（HF）与魔搭ModelScope（MS）是两大主流模型平台，分别面向国际与中文场景。HF提供50万+模型，依赖社区生态；MS由阿里主导，专注中文SOTA模型与本土加速。下载方式多样：小型模型可通过transformers自动缓存；大型模型推荐Git LFS或镜像站（如清华/阿里云）；国内用户优先使用MS镜像实现MB/s级下载。双平台支持断点续传，并可通过Ollama或vLLM快速部署。HF适合英文项目，MS更适配中文及政企需求，两者互补形成完整工具链。常见问题包括网络限速、

摘要：提示词工程是优化AI输出的关键技术，通过结构化设计提升模型表现。核心方法包括：1）明确任务目标与格式要求；2）采用角色设定、示例引导等结构化技巧；3）多轮交互细化复杂任务；4）参数调优控制输出特性。应用场景涵盖代码生成、文本润色等，需通过测试迭代建立最佳实践。高级技巧如元提示和链式推理可进一步提升效果，实际应用需结合领域知识持续优化。（149字）