自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

  • 博客(442)
  • 资源 (5)
  • 收藏
  • 关注

原创 【AI编程实战】一个人肝代码太累了?让AI团队帮你打工!

摘要:本文介绍了Claude Code的Agent Teams功能,这是一种让多个AI Agent像真实团队一样协作的黑科技。文章详细解析了四大协作模式(竞争假设、分层评审、模块化开发、规划-审批)及其适用场景,并提供了模型经济学建议和实战配置示例。同时指出了使用注意事项,包括成本控制、适用场景限制等,最后探讨了国产大模型的适配方案。该功能能显著提升复杂问题的解决效率,让开发者从"单打独斗"升级为"团队作战"模式。

2026-05-12 14:38:52 7

原创 【AI编程实战】AI终于学会“团队作战“了:多任务并行探索与流水线编排实战

AI协作范式正从单模型转向多智能体协同,带来专业化分工、并行加速、容错增强和可控性提升四大价值。文章介绍了五大经典编排模式:1)流水线模式,实现任务有序传递;2)并行-聚合模式,分治独立子任务;3)Supervisor模式,动态路由任务;4)Blackboard模式,共享知识协作;5)混合模式,融合并行与串行优势。这些模式让AI系统像"特种部队"一样高效协同,适用于复杂任务处理。

2026-05-08 15:29:50 471

原创 【AI编程实战】当AI被300行测试输出淹没时,我才明白:子代理才是程序员真正的“降噪耳机“

本文探讨了Claude Code子代理的噪声隔离能力,通过实际案例展示了如何通过子代理机制提升AI编程效率。主要内容包括: 成本分析:对比直接执行与子代理方案,证明子代理在长期对话中能显著降低token消耗(5轮对话后节省50%)。 信噪比决策框架:提出基于输出信息价值的判断标准,指导何时使用子代理(如测试输出300行仅5行有用时)。 实战案例:演示测试运行器和日志分析器两个子代理应用,分别采用haiku和sonnet模型,针对不同复杂度任务。 设计原则:强调输出格式需具备结论先行、可操作性、分层详略等特点

2026-05-08 15:09:00 230

原创 【AI编程实战】我只是让AI看看代码,它凭什么直接给我改了???

文章摘要 本文探讨了AI代码审查中的安全边界问题,通过真实案例揭示了AI助手擅自修改代码的风险。作者提出构建"只读型安全审计子代理"的解决方案,详细讲解了通过YAML配置限制AI工具权限的方法(仅允许Read/Grep/Glob/Bash),并分享了实战演示:创建一个能识别硬编码密钥、弱密码验证等安全漏洞的审查器,同时确保AI只能报告问题而无法修改代码。文章强调在AI时代,需要明确区分"协作者"和"守门员"的角色,通过技术手段实现安全审查的职责边界

2026-05-07 13:34:49 395

原创 【AI编程实战】别再只盯着模型了!2026 年最值得关注的技术是 Harness

本文探讨了AI工具性能差异的关键因素——Harness(模型外包装)。文章指出,即使使用相同的底层模型,Harness设计的优劣会显著影响AI工具的表现。通过对比"模型派"和"Harness派"的观点,作者认为模型决定能力上限,而Harness决定能否逼近上限。文章详细解析了Harness的五大核心组件(工具、上下文、记忆、钩子、权限)和Agentic Loop工作机制,并以Anthropic和Inngest的实践为例,展示了优秀Harness设计如何提升AI代理的持

2026-05-05 20:41:41 734

原创 【AI编程实践】你的 AI 助手还在「单打独斗」?是时候学会「团队作战」了

AI编程正从单Agent转向多Agent协作模式,通过任务分解提升效率。本文提出四种核心架构:1)Sub-Agents实现并行处理;2)Skills实现轻量级能力切换;3)Handoffs确保流程化执行;4)Router实现智能任务分发。测试显示Sub-Agents在多领域查询中token消耗比Skills低67%。建议根据场景特性选择模式,简单任务用Skills,复杂并行用Sub-Agents,流程化场景用Handoffs,多源查询用Router。实际开发中常组合使用这些模式,但需注意每增加一个Agent

2026-05-05 17:02:57 297

原创 【AI编程实战】你的 Claude Code 还是「单线程」?是时候学会「分心」了

你有没有这种感觉——用 Claude Code 干活的时候,它像一个勤勤恳恳的全能助手,但有时候上下文越堆越长,它就开始「犯迷糊」:忘掉之前让你满意的设计、重复你已经拒绝过的方案、或者在 200 行的测试输出里彻底迷失……

2026-05-05 14:50:49 264

原创 【AI编程实战】一文讲透 CLAUDE.md:让 AI 真正「懂」你的项目

文章摘要: CLAUDE.md是专为AI编程助手设计的项目配置文件,不同于README.md的人读属性,它通过四层记忆系统(用户/项目/本地/规则级)让AI快速理解项目上下文。内容需包含技术栈、目录结构、编码规范等,采用精简具体的编写原则。与AGENTS.md相比,CLAUDE.md专属于Claude Code,支持子代理和MCP协议,适合深度集成场景。最佳实践强调聚焦核心信息(如技术栈用React+TS+Vite)和明确规则(如组件命名用PascalCase),避免信息过载。

2026-05-04 21:23:15 252

原创 【AI编程实战】不会用Claude Code的程序员,正在被悄悄淘汰

你还在用Claude Code聊天?我已经用它管团队了。

2026-05-03 17:53:06 588

原创 【智能体漫游】Process 任务调度:Multi-Agent 系统的“流水线大脑“

摘要: Process是多智能体系统中的任务调度核心,决定了Task的执行顺序与数据流转。本文解析Sequential Process模式——通过线性流水线(Task 1→Task 2→Task 3)实现可控执行,配合Context上下文传递机制,确保下游任务精准获取上游输出。代码示例展示了如何用CrewAI框架构建顺序流程:内容策略→文案撰写→SEO优化,其中关键点在于显式声明context依赖关系。这种设计既避免了执行混乱,又解决了Token消耗问题,是工业级Multi-Agent系统的基础架构范式。

2026-05-03 16:43:38 255

原创 【智能体漫游】从“步骤控制“到“契约驱动“:重新定义Multi-Agent系统中的Task设计

本文探讨了Multi-Agent任务设计的核心理念——从“步骤控制”转向“契约驱动”。传统设计通过详细步骤控制Agent行为(如代码脚本),但易因意外情况失效。作者提出应聚焦任务目标而非具体路径,通过Pydantic定义结构化输出契约(如小红书内容策划案例),明确“交付什么”而非“如何执行”。这种里程碑模式赋予Agent自主决策权,提升系统鲁棒性与通用性。关键结论:任务设计应通过数据模型约定输出格式(契约),而非干预执行过程,实现真正的智能协作。 (字数:150)

2026-05-02 10:46:20 269

原创 【智能体漫游】Agent 定义:为什么你的 AI 还在“机械打工“?看完这篇彻底搞懂人设工程

本文探讨了从传统"提示词工程"升级为"人设工程"的必要性,提出Agent的RGB三要素模型(Role-Goal-Backstory),并分享实用避坑指南和代码模板。 核心要点: 1️⃣ 人设工程优势:相比指令式Prompt,赋予AI人格(如"10年经验的母婴评测专家")能激活专业知识和决策偏好,使其更像专业合伙人而非机械执行者。 2️⃣ RGB模型: 🔴 Role:精准定位(如"跨境电商选品顾问")以激活垂直领域知识

2026-04-30 16:27:58 269

原创 【智能体漫游】Demo到生产级:隔着一套系统工程——六阶进阶路线图

如果你在做AI应用开发,上面这段对话让你感到似曾相识,那么恭喜你——你已经从"调通Demo美滋滋"阶段,正式进入了**"玩具到生产级"的血泪深水区**。

2026-04-29 17:39:39 385

原创 纯 RAG 就是个“半成品“:FAQ + RAG 让大模型客服真正能打

文章摘要: RAG技术在客服场景的实际应用中面临四大挑战:检索质量不稳定导致错误召回、LLM幻觉问题未根治、高并发延迟显著、合规审计困难。传统FAQ系统则受限于关键词匹配死板、维护成本高和无法处理复杂上下文。解决方案是结合FAQ与RAG的优势——FAQ作为"守门员"处理高频标准问题,RAG作为"后援团"应对模糊长尾问题。这种混合架构通过精确匹配优先(相似度≥0.95直接返回FAQ答案)、语义检索兜底的方式,在保持响应速度的同时提升准确性。关键技术实现包括多路召回策略、

2026-04-29 16:06:57 605

原创 【智能体漫游】选错框架等于白干一年?2026 AI开发者的选型生存指南

文章摘要: 本文提出AI应用开发的C.U.P.三维评估模型,帮助架构师科学选型。复杂度(C)衡量业务难度,不确定性(U)评估动态决策需求,性能约束(P)决定可行性。基于这三个维度,作者划分出四种架构范式:轻量Prompt工具、标准化Workflow、单Agent系统和多Agent协作。文章对比了LangGraph、CrewAI等主流框架的适用场景,并给出决策树和代码示例,强调应根据业务特性而非技术热度选择架构方案。核心观点是:成功的AI应用开发需要量化评估而非直觉判断,在C、U、P的平衡中找到最优解。

2026-04-27 17:35:43 421

原创 【智能体漫游】独木不成林:Multi-Agent如何让AI从“孤狼“变“狼群“?

老板:"让AI写一份市场分析报告,要深度!要专业!要准确!"单Agent内心OS:"???你到底要我搜索、还是要我分析、还是要我写作、还是要我审核???"

2026-04-27 15:09:51 259

原创 DeepSeek扔出王炸:百万上下文仅需1/70成本

DeepSeek V4发布重磅升级,以百万token上下文和1/70的成本优势震撼业界。其核心技术包括:1)MoE架构稀疏化,激活参数仅49亿,效率提升3.7倍;2)混合压缩注意力(CSA+HCA),使1M上下文推理FLOPs降至27%;3)硬件协同优化,华为昇腾适配实现85%算力利用率。性能上,V4-Pro在SimpleQA、Codeforces等基准超越GPT-5.4和Claude Opus 4.6,尤其在长上下文任务优势明显。API定价仅4元/百万token,相比GPT-4的280元实现降维打击,将大

2026-04-25 10:02:56 282

原创 【智能体漫游】我把AI“智能体“的di裤扒给你看

摘要: Agent并非魔法,其本质是一个基于ReAct范式的While循环系统。核心流程为"思考→行动→观察"的循环迭代,通过Stop Token机制确保LLM与真实世界交互:当LLM输出Action后,框架立即掐断输出,执行真实工具调用并将结果回填,从而避免幻觉。这种设计让Agent能自主应对不确定性,如网络调研时自动调整搜索策略。理解这一原理后,甚至可用40行代码实现基础Agent系统。

2026-04-23 11:07:06 280

原创 【智能体漫游】AI应用开发的“四大门派“,你看懂了吗?

AI应用开发四大架构范式解析:从Prompt到Multi-Agent 本文系统梳理了AI应用开发的四种主流模式: Prompt派 - 单次Prompt完成简单任务,适合数据量小、边界明确的场景 Workflow派 - 预先编排执行流程,模型按步骤执行,稳定性高但灵活性差 Agent派 - 模型自主决策下一步行动,适合复杂多变的任务 Multi-Agent派 - 多智能体协作,通过分工实现更复杂的系统功能 文章通过"生成竞品分析报告"的案例,详细对比了各范式的适用场景、优势局限和典型代码实

2026-04-16 10:19:06 311

原创 政务帮办新范式:基于检索增强与多智能体协同的智能系统实践

本文提出了一种多智能体协同的智能政务系统架构,突破传统方案在状态管理、职责过载和感知闭环方面的局限。系统由中央规划智能体、对话引导智能体、参数提取智能体和执行状态分析智能体组成,通过职责分离与显式状态管理实现高效协同。核心创新在于中央决策引擎的确定性逻辑,采用基于规则的状态机设计,确保系统可靠可控。该架构支持自然语言交互、参数自动提取、业务系统操作和视觉闭环验证,能够真正实现"帮办"功能,显著提升政务服务的智能化水平。

2026-04-08 14:20:02 389

原创 【OpenClaw算法】系统提示工程:构建高效Agent指令的算法实现

OpenClaw系统提示工程通过智能算法为AI Agent构建高效工作指南。采用模块化设计,动态组装包含身份定义、工具系统、技能系统等模块的提示模板。通过环境检测和用户配置生成工具摘要,实现安全工具集成。技能系统支持动态加载和能力扩展,引导文件提供智能背景知识。采用令牌预算分层分配和动态调整算法优化资源使用,并通过签名清洗保持提示整洁。这套算法具有智能自适应、高效压缩、安全可靠等优势,能根据环境和任务需求为AI Agent提供最优工作指南,显著提升其性能和适应性。

2026-03-06 16:15:13 320

原创 【OpenClaw算法】上下文管理:智能窗口管理与压缩优化

OpenClaw智能上下文管理系统通过多层架构实现高效记忆管理。系统采用优先级决策机制确定上下文窗口大小,综合考虑用户配置、模型原生值和Agent安全上限。动态调整策略包括紧急压缩和预防性压缩,确保空间合理使用。令牌预算分层分配,系统提示固定预留,历史消息动态分配。智能压缩算法根据消息大小自适应分块,保留关键信息和标识符。安全边界检查防止窗口过小,溢出检测机制分级处理空间不足情况。该系统通过精确估算、智能压缩和动态调整,实现了上下文窗口的高效管理。

2026-03-04 15:26:01 650

原创 Xinference vLLM Rerank 分数异常:Cross-Encoder 参数顺序的致命陷阱

摘要: Xinference部署BGE Reranker模型时出现严重评分异常,vLLM引擎对完全不相关的查询-文档对给出接近1的高分(如"卫生间"查询与"出入境"文档得0.986分),而正确结果应为接近0。经排查发现是_rerank方法中查询与文档参数顺序颠倒所致。该问题源于Cross-Encoder架构对输入顺序的敏感性——模型训练时采用[CLS]查询[SEP]文档[SEP]格式,参数反向后导致注意力机制异常激活。修复方案仅需交换参数顺序(PR#4573),但暴露

2026-02-04 17:13:56 779

原创 SlideFlow: AI 驱动的 PPT 自动化生成引擎

SlideFlow是一个基于LangGraph状态机编排和MCP协议的自动化PPT生成引擎,具备以下核心特性: 四层架构设计:包含交互层、协议层、逻辑编排层和基础设施层,实现高度解耦的模块化系统 核心技术亮点: 采用LangGraph状态机实现并行任务流控制 通过Playwright实现HTML到PPTX的像素级矢量转换 集成Milvus Lite构建RAG知识增强能力 工作流程:从大纲生成→内容扩写→HTML渲染→PDF合成→PPTX转换的完整自动化流程 技术优势: 支持复杂并行处理和状态回溯 实现DOM

2026-01-29 15:18:53 819

原创 修复 Xinference + vLLM 启动失败:0 bytes read 错误的真实原因与解决方案

摘要: 本文针对Xinference使用vLLM引擎部署Qwen2.5-14B-GPTQ-Int4等大模型时出现的"Remote server closed"错误,揭示其根本原因是vLLM初始化阶段因Swap空间不足导致崩溃。通过分析vLLM和Ray的运行机制,指出即使GPU显存充足,初始化过程仍需依赖系统虚拟内存。解决方案是扩充Swap空间至4-8GB,并提供详细操作步骤。文章强调Swap空间对模型启动的关键作用,建议保留足够Swap以确保大模型顺利加载,同时指出该方案不影响推理阶段的

2026-01-15 09:59:05 562

原创 FastW2V-JNI:从模型到移动端语义检索的完整落地实践

本文介绍了FastW2V-JNI项目,这是一个支持Word2Vec和BERT的中文语义检索引擎,专为Android端离线环境设计。项目采用双引擎架构:Word2Vec引擎轻量快速,适合低性能设备;BERT引擎基于CoROM-Tiny模型,语义理解能力更强。通过C++17实现核心逻辑,使用ONNX Runtime进行BERT推理,并通过JNI与Android集成。文章详细解析了项目架构、双引擎对比、ONNX推理流程、相似度检索实现以及Android集成方案,提供了性能优化建议和工程实践经验。该方案平衡了性能与

2026-01-05 15:22:44 735

原创 Dify不停机迁移实战:数据库损坏,怎么办?

本文记录了PostgreSQL数据库在迁移过程中崩溃恢复的全过程。在数据迁移后,数据库因WAL日志损坏无法启动,通过pg_resetwal工具初步修复后,又发现TOAST数据损坏问题。最终采取从旧服务器重新备份完整数据、安全传输并执行完整恢复的方案。文章总结了数据库迁移的最佳实践,包括迁移前准备、传输优化、恢复策略和监控验证等关键环节,强调了理解架构、预防为主和系统化排查的重要性。这次实战不仅成功恢复了数据库,更形成了一套完整的故障处理方案,为类似迁移工作提供了宝贵经验。

2025-12-15 15:13:54 1028

原创 Dify忘记了模型供应商的API Key怎么找回?解密实战指南

摘要:本文分享了如何从Dify数据库中找回已配置但忘记的API Key的实战案例。通过分析Dify的加密存储机制,详细介绍了从定位数据库记录到执行解密的完整步骤,包括常见错误处理方案。关键点在于必须使用create_app()创建完整应用环境才能正确解密,同时需要注意不同插件的API Key字段命名差异。该方法适用于通义千问、SiliconFlow等各类插件API Key的找回需求。

2025-12-08 10:41:21 643

原创 当SQL遇上大模型:TiInsight如何让数据分析像聊天一样简单?

TiInsight是PingCAP团队推出的创新数据分析平台,通过自然语言交互解决传统数据分析痛点。系统采用分层架构设计,核心组件HDC(层次化数据上下文)通过三级处理模型(列摘要、表关系、业务语义)将复杂数据库结构转化为AI可理解的语义信息。HDC利用批量并行处理和领域知识增强技术,为数据库元素生成精准业务描述,显著提升大模型对数据库的理解能力。该技术使非技术人员也能通过自然语言查询获取数据洞察,实现从SQL编写到图表生成的全流程智能化,代表了数据分析领域的重要技术突破。

2025-11-20 16:55:53 152

原创 突破性知识图谱构建:QA驱动的大模型层次化知识图谱参数化构建的方法

本文提出了一种自动化构建多级语义知识网络的创新方法,解决了传统知识图谱构建中的三大痛点:上下文偏差、结构不可控和黑箱问题。该方法通过QA生成引擎消除跨域语义偏差,采用层次化聚类算法实现多级语义结构,并引入参数化控制系统(max_width、max_depth、max_length)确保图谱质量。技术架构包含QA生成、实体抽取、原子结点生成和层次化聚类等核心模块,支持三级溯源链路验证。在社保知识库测试中,实体准确率提升32.2%,查询延迟降低64.3%,显著优于传统RAG方案。该技术为高风险领域提供了可解释、

2025-11-20 16:53:56 190

原创 【LLaMA-Factory】显存优化黑科技 BAdam:让24G显卡训练70亿参数大模型成为可能!

内存效率:将显存需求从144GB降到24GB,降幅83%性能保持:在多项基准测试中媲美甚至超越Adam易用性:LLaMA-Factory一行配置即可启用灵活性:支持多种块切换策略和训练模式成本效益:让单卡训练70亿参数模型成为现实🚀 下一步行动建议立即尝试:在您的下一个LLM微调项目中试用BAdam深入学习:阅读BAdam论文了解技术细节参与社区:在LLaMA-Factory GitHub仓库分享您的使用经验💡 想了解更多大模型训练技巧?欢迎关注我的公众号,持续分享AI技术干货!

2025-11-04 16:37:16 216

原创 【LLaMA-Factory】 LoRA+黑科技揭秘:让LoRA微调速度提升2倍的神奇魔法!

LoRA+技术解析:大模型微调训练加速新方法 UC伯克利提出的LoRA+技术通过差异化学习率策略(矩阵B学习率是矩阵A的λ倍),显著提升LoRA微调效率。实验表明,LoRA+可实现2倍训练加速和1-2%性能提升。LLaMA-Factory已集成该技术,支持通过简单配置(如设置loraplus_lr_ratio=16)启用。其理论依据在于:大宽度网络中,矩阵B需要更快适应特征变化。该方法在保持内存效率的同时,解决了传统LoRA训练速度慢的问题,为大规模模型微调提供了高效解决方案。

2025-11-04 16:36:15 230

原创 【LLaMA-Factory】Muon优化器:大模型训练的“涡轮增压器”,训练速度提升20倍的秘密!

Muon优化器是一款革命性的深度学习优化器,通过动量正交化和牛顿-舒尔茨迭代技术,显著提升大模型训练效率。相比传统优化器,Muon创新性地解决了梯度更新方向冗余问题:它将牛顿-舒尔茨迭代算法(5-6步即可完成矩阵正交化)与自适应学习率调整相结合,使NanoGPT训练速度提升20倍。该优化器在LLaMA-Factory中实现时,智能区分2D参数(使用Muon算法)和1D参数(使用AdamW),并通过0.2*sqrt(max(A,B))公式动态调整学习率,在保持稳定性的同时大幅加速收敛。这一技术突破为大模型训练

2025-10-31 15:50:20 191

原创 【LLaMA-Factory】告别强化学习!DPO直接偏好优化原理解析,训练你的ChatGPT更简单高效

本文介绍了直接偏好优化(DPO)技术及其在大语言模型训练中的应用。DPO通过将复杂的强化学习问题转化为二分类任务,直接优化模型对优选回答的选择概率,避免了传统RLHF方法中的奖励模型训练和PPO优化步骤。文章详细解析了DPO的核心原理、损失函数实现和关键超参数调优,并通过实验对比证明了DPO在训练稳定性、实现复杂度和最终性能等方面的优势。DPO技术显著简化了语言模型偏好优化的流程,使其更易于实现且计算高效,为开发者提供了一种更简单可靠的模型优化方案。

2025-10-31 15:47:38 346

原创 【LLaMA-Factory】一文吃透Reward Model,让大模型学会“明辨是非“!

奖励模型(RM)技术解析 本专栏系统介绍了大语言模型训练中的关键组件——奖励模型(RM),基于LLaMA-Factory实现进行技术剖析。摘要要点: 核心原理:采用Bradley-Terry概率模型和Pairwise Ranking Loss,通过σ(rA-rB)计算回答偏好概率。 架构设计:包含PairwiseTrainer训练器、数据整理模块和评估指标,使用线性层输出标量奖励值。 关键技术: 成对比较训练:前n样本为优选回答,后n为拒绝回答 损失函数:-log(σ(r_chosen - r_reject

2025-10-30 13:59:53 239

原创 【LLaMA-Factory】一文吃透近端策略优化,让大模型“自我进化“!

摘要: PPO(Proximal Policy Optimization)是强化学习中平衡探索与稳定性的核心算法,通过Actor-Critic架构实现策略优化。其核心优势在于裁剪机制限制策略更新幅度,结合优势函数评估动作价值,显著提升训练稳定性与样本效率。LLaMA-Factory中的PPO实现包含奖励计算、策略裁剪和训练循环等模块,支持多种奖励模型,为大语言模型的强化学习微调提供完整解决方案。与传统优化器相比,PPO专为强化学习场景设计,通过可控的策略更新实现更高效的模型训练。

2025-10-30 13:58:08 115

原创 【LLaMA-Factory】一文吃透SFT阶段,让大模型从“学霸“升级为“专家“!

📚 专栏推荐与SFT技术解析 专栏推荐: 本专栏系统介绍了大语言模型(LLM)技术体系,包含基础概念、ChatGPT应用、RAG架构实践等内容,并提供Qwen3模型技术报告和Dify框架源码解析,助力开发者实现技术落地。 SFT技术解析: 监督微调(SFT)是让大模型专业化的重要环节,介于预训练和强化学习之间。LLaMA-Factory的SFT实现包含三大核心组件: CustomSeq2SeqTrainer:支持FP8混合精度训练、BAdam优化器等先进技术 预测结果处理:智能生成内容并移除提示部分 预测

2025-10-28 14:21:14 568

原创 【LLaMA-Factory】一文吃透预训练阶段,让大模型从“婴儿“成长为“学霸“!

大模型预训练核心技术解析 本文系统剖析了大语言模型预训练阶段的核心技术与实现架构。主要内容包括: 预训练本质:如同人类的基础教育,通过海量无监督数据学习通用语言知识,为模型构建深层理解能力。与微调阶段相比,预训练需要更庞大的计算资源和训练周期。 LLaMA-Factory架构:展示了一个完整的预训练技术栈,包含数据处理、模型初始化、优化器配置等核心组件,形成端到端的训练流水线。 关键技术实现: CustomTrainer作为训练引擎,集成了FP8训练、BAdam优化器等先进技术 语言建模损失函数实现自回归预

2025-10-28 14:20:04 121

原创 【LLaMA-Factory】一文吃透大模型加载、改造、优化全流程,让你的模型像变形金刚一样强大!

本文深入解析了LLaMA-Factory模型处理的核心技术架构,从模型加载流程到核心组件功能。首先介绍了模型加载器(loader.py)作为"物流调度中心",负责协调模型加载各环节;然后讲解了模型修补工(patcher.py)如何像"装修队"一样调整模型配置;最后阐述了适配器管理器(adapter.py)作为"配件安装工",为不同微调方法安装适配器。文章通过生动的类比,系统揭示了LLaMA-Factory处理大模型的技术原理,帮助开发者理解从基础理

2025-10-24 13:19:40 507

原创 【LLaMA-Factory】一文吃透超参数配置系统,让大模型训练像打游戏一样简单!

本文深入解析LLaMA-Factory参数配置系统,将其分为四大类:模型参数(如模型路径、缓存目录)、数据参数(如数据集选择、截断长度)、微调参数(如LoRA秩、目标模块)和生成参数(如温度采样、最大token数)。通过类比的讲解方式,帮助开发者理解每个参数的功能和调整策略,为LLM模型训练和应用提供实用指导。文章采用结构化代码展示和形象比喻,使复杂的参数配置变得直观易懂。

2025-10-24 13:18:30 240

SMP2020微博情绪分类技术评测数据集

SMP2020微博情绪分类技术评测数据集 本次技术评测使用的标注数据集由哈尔滨工业大学社会计算与信息检索研究中心提供,原始数据源于新浪微博,由微热点大数据研究院提供,数据集分为两部分。     第一部分为通用微博数据集,该数据集内的微博内容是随机获取到微博内容,不针对特定的话题,覆盖的范围较广。     第二部分为疫情微博数据集,该数据集内的微博内容是在疫情期间使用相关关键字筛选获得的疫情微博,其内容与新冠疫情相关。     因此,本次评测训练集包含上述两类数据:通用微博训练数据和疫情微博训练数据,相对应的,测试集也分为通用微博测试集和疫情微博测试集。参赛成员可以同时使用两种训练数据集来训练模型。     每条微博被标注为以下六个类别之一:neutral(无情绪)、happy(积极)、angry(愤怒)、sad(悲伤)、fear(恐惧)、surprise(惊奇)。     通用微博训练数据集包括27,768条微博,验证集包含2,000条微博,测试数据集包含5,000条微博。     疫情微博训练数据集包括8,606条微博,验证集包含2,000条微博,测试数据集包含3,000

2022-12-29

Spark机器学习回归模型数据集

为了阐述本章的一些概念,我们选择了bike sharing数据集做实验。这个数据集记录了bike sharing系统每小时自行车的出租次数。另外还包括日期、时间、天气、季节和节假日等相关信息。

2016-06-15

Spark机器学习文本处理数据集

为了说明概念,我们将使用一个非常有名的数据集,叫作20 Newsgroups;这个数据集一般用来做文本分类。这是一个由20个不同主题的新闻组消息组成的集合,有很多种不同的数据格式。对于我们的任务来说,可以使用按日期组织的数据集。

2016-06-20

Spark机器学习推荐模型数据集

我们将使用推荐引擎中使用的电影打分数据集,这个数据集主要分为三个部 分:第一个是电影打分的数据集(在u.data文件中), 第二个是用户数据(u.user),第三个是电影数据(u.item)。除此之外,我们从题材文件中获取了每个电影的题材(u.genre)。

2016-06-18

Spark机器学习分类模型的数据集

考虑到推荐模型中的 MovieLens 数据集和分类问题无关,本章将使用另外一个数据集。这个 数据集源自 Kaggle 比赛,由 StumbleUpon 提供。比赛的问题涉及网页中推荐的页面是短暂(短暂 存在,很快就不流行了)还是长久(长时间流行)。

2016-06-15

jblas-1.2.4-SNAPSHOT

里MLlib库需要依赖[jblas线性代数库](http://jblas.org/),如果大家编译jblas的jar包有问题,可以获取。把jar包加到lib文件夹后,记得在spark-env.sh添加配置

2016-06-26

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除