yichudu

本文介绍了监督微调(SFT)在预训练模型专业化应用中的作用，并以Qwen2-VL-2B-Instruct模型为例详细展示了SFT实践流程。内容包括：1) SFT的必要性，作为通用模型适应特定需求的关键技术；2) Qwen2-VL实操指南，涵盖模型文件结构、4GB权重配置；3) SFT数据准备要点，强调小规模高质量数据要求；4) 训练精度配置说明，区分存储精度与训练精度；5) 相关工具推荐。文章提供了从理论到实践的完整SFT技术路径，适合需要定制化大模型的开发者参考。

文章摘要： AI原生工程的核心是让AI代理深度参与开发流程，实现自然语言需求理解、自主开发、高质量代码审查和CI/CD自动化。关键在于构建skill体系（项目总览、编码规范、架构约束等）作为AI的知识库，配合harness自动化测试框架进行质量把控。新项目适合直接采用这种模式，而存量项目需要补充大量历史知识。这种模式将人工审核聚焦于架构合理性等高层问题，显著提升开发效率和质量。

本文介绍了大模型应用中的Agent编排（orchestration）概念及实现模式。主要编排方式包括：顺序链（串行执行）、并行分发汇总（Fan-out/Fan-in）、路由（基于输入分发）和分层委托（多级任务分解）。通过表格对比了各模式在速度、复杂度、调试难度等方面的差异，其中并行模式最适合独立子任务场景。文章还探讨了桌面Agent采用LLM-as-Orchestrator的动态编排特点，强调上下文管理是关键。发展趋势显示编排正从显式流程图向模型自主决策演进，未来可能形成确定性框架与灵活Agent相结合的混

LangChain是一个Python框架，用于构建AI Agent应用，提供统一接口连接大模型、Prompt模板、工具调用等组件。其核心功能包括LLM对接、多步骤工作流、记忆系统和RAG支持。通过示例代码展示了两种调用方式：简洁的LCEL管道风格和分步调用流程。底层通过httpx发起HTTP请求与LLM交互，支持丰富的参数配置。相比JavaScript版本，Python版LangChain生态更完善、更新更及时。

VSCode是一款功能强大的文本编辑器和轻量级IDE，支持Python开发，通过安装扩展可实现依赖跳转、运行调试等功能。它支持GitHub Copilot智能编程助手，提供代码补全建议。此外，VSCode还支持Markdown、XML等文件编辑，以及远程开发功能，可连接Linux环境进行编码。用户可通过GitHub账户同步配置，实现跨设备设置共享。

Codegraph是一个本地代码知识图谱工具，专为AI agent设计。它能将代码库解析为图结构（符号为节点，调用关系为边），存储在SQLite中，支持Python/Java/TS/Go等语言。安装后通过CLI命令（init/index建索引、query/callers查询等）操作，可分析调用链、影响范围等。示例展示了Java项目的索引创建、SQLite数据验证及调用关系查询。工具适用于代码影响分析、依赖追踪等场景，为AI编程助手提供结构化代码知识支持。

Qwen-VL是基于Qwen-7B开发的多模态视觉语言大模型，支持图文理解、文档解析等任务。其架构在Qwen-7B基础上增加了视觉编码器（ViT）和位置感知适配器，训练分为三个阶段：ViT预训练（建立视觉-文本关联）、全参数预训练（多任务学习）、SFT微调（使用35万条ChatML格式指令数据优化对话能力）。评测显示其在图像描述、视觉问答等任务表现优异。该模型通过冻结视觉编码器、仅微调语言模块的策略，实现了高效的多模态对齐。

Claude Code是一个本地运行的AI代理工具，集成了编排引擎、大模型云端调用、工具系统和终端UI。它支持跨会话知识传递（通过全局或项目级CLAUDE.md文件）和命令执行（bash/git-bash）。2026年新增的"deep research"功能支持多步骤信息调研：发散搜索、原文阅读、交叉验证和生成带引用报告，显著优于普通单次搜索模式。该工具通过持久化工作流（类似plan模式和skill模式）保持任务连续性。安装配置可参考作者博客文章。

人类不直接写 py 源代码, 而是 为 智能体 提供一个规模不大但功能完备的语言模型训练环境，并让它在夜间自主进行实验。

摘要： BBPE（Byte-level BPE）是一种从字节级别构建词表的分词方法，通过合并高频字节对逐步形成词表，彻底解决未登录词问题。主流大模型（如GPT、LLaMA、Qwen）均采用此方法，通过扩大词表（如Qwen词表达15万）确保中文等多语言的高效编码。BBPE初始会将汉字拆为字节，但训练中会重新合并为完整token，兼顾编码效率与字符覆盖能力。

AI 助理在 2025 年已经全面普及，由 ChatGPT 率先破圈引爆大众使用热潮. 它们以云端浏览器交互为主，只能接收 图/文/附件, 根据用户提问给出文字回答, ai 只动嘴不动手., 是指 OpenClaw 直接接管了你的电脑, 能 操作本地文件、浏览器自动化、定时任务调度、系统指令执行等.它还能接受, 即人不在家也能通过 聊天软件 (飞书 / 微信 / 钉钉) 远程指挥家里电脑上的 OpenClaw.但 openClaw 背后的, 需要购买 大模型服务.

摘要：大语言模型(LLM)作为对话系统核心，通过prompt生成文本回复。在此基础上，Agent赋予了LLM调用工具执行动作的能力，包含任务规划、工具调用、记忆存储和自检修正四大组件。例如面对数学计算时，Agent能像人类一样借助计算器获得精确答案，而不仅是近似回答。这种架构展现了从被动对话到主动执行的智能化演进。（99字）

NLP 中, 一种用于 Language Model 的 Pretrained Task 范式.前辈的特点是让模型通过去适配这些任务. 流程是 “pre-train, fine-tune, and predict”.而 prompt 的思路则与此相反, 调整预训练任务的形式(Reformulate), 使其更接近于原始预训练任务(如 完形填空). 流程是 “pre-train, prompt, and predict”.

RAG（检索增强生成）结合了外部知识检索与大语言模型生成能力，有效解决LLM的幻觉、知识局限性等问题。当用户提问时，系统先检索相关文档片段作为上下文输入LLM，再生成回答，适用于客服、法律咨询等场景。典型流程包括：提问→向量检索→拼接Prompt（指令+上下文+问题）→LLM生成回答。这种方法既保留了LLM的表达能力，又通过外部知识增强了回答的准确性，未来可与Agent结合实现更智能的AI助理。

AI编程正经历从辅助协同到自主代理的演进。当前阶段，AI可完成代码补全、文件生成、代码解读等任务，并逐步发展为能跨文件修改的工程级代理。未来发展方向是让AI具备AST（抽象语法树）深度理解能力，实现语义级编程推理。为突破大模型上下文限制，需要智能文件检索、渐进式上下文构建和高效压缩等技术。人类角色正从编码者转变为需求定义和结果审查者。