
大模型
文章平均质量分 97
观熵
走在AI与场景融合的前线,关注技术演进、产品迭代与智能时代的创新创业机会。
展开
-
推理引擎使用与实践:vLLM × DeepSpeed × TensorRT 全流程拆解
你训练好了大模型、调好了 Prompt、模型表现也不错,但一上线就掉帧、延迟飙升、显存爆炸? 问题不在模型本身,而在你还没有真正理解推理引擎的工作方式。 本篇文章从一名 AI 系统专家视角,系统讲解如何基于 vLLM、DeepSpeed-Inference 与 TensorRT 构建高吞吐、低延迟的推理服务,涵盖从模型加载、KV Cache 管理、动态批处理、量化部署到多模型切换的关键机制与实践技巧。原创 2025-04-19 10:09:05 · 961 阅读 · 0 评论 -
DeepSeek-Agent 与 AutoGLM 沉思版:多智能体协作框架技术深度对比
多智能体协作已成为大模型系统从“单轮问答”走向“任务级智能”的关键演进路径。DeepSeek-Agent 和 AutoGLM(沉思版)作为2024年国内开源社区两种代表性方案,分别构建了以任务驱动和自动机器学习为核心的 Agent 编排架构。本文将基于以下维度,系统对比两者在多智能体结构设计、角色分工机制、任务流编排、行为控制策略、系统可扩展性与实战部署能力方面的异同,结合实际应用场景提出推荐与组合建议,帮助研发者选择更适合自身场景的技术方案。原创 2025-04-18 17:31:29 · 733 阅读 · 0 评论 -
多版本模型热更新机制设计实战
> 本文围绕**多版本模型热更新机制设计**,系统讲解如何做到: > - 新版本模型上线无需重启服务 > - 请求可动态路由至新/旧模型版本 > - 可随时“热切换”“热回滚”“灰度发布”>> 并基于 Triton、vLLM、ONNXRuntime 等主流推理引擎,提供从架构机制 → 工程实现 → 运维联动的完整实践路径。原创 2025-04-16 12:51:56 · 993 阅读 · 0 评论 -
何为深度学习模型?
本文详细解析了自然语言处理领域从传统规则和统计模型到深度神经网络及 Transformer 系列预训练模型的发展历程。通过对各模型的数学公式、网络架构和优化策略进行深入探讨,我们认识到当前 NLP 技术虽已取得巨大进展,但在模型解释性、计算资源消耗和跨模态融合等方面仍面临挑战。未来,借助模型压缩、多模态协同及预训练任务创新技术,NLP 将向着更加高效、智能和普适的方向迈进,为各行各业的智能化应用提供坚实支持。原创 2025-03-17 18:02:57 · 1036 阅读 · 0 评论 -
大模型 AI 能干什么?
许多重复性工作将由 AI 替代;人机协同将释放前所未有的创造力,为创新决策提供坚实支撑。构建 AI 中台(例如基于 vivo 蓝心架构),设立首席 AI 官(CAIO),统筹技术战略和组织变革。掌握“AI 思维+领域知识”的复合技能,精通 LangChain 等新一代工具,不断提升自身竞争力。正如沈向洋院士所言:“最成功的 AI 应用,是让人忘记技术的存在。” 未来属于那些能将人类创造力与 AI 执行力深度融合的探索者。欢迎留言讨论。原创 2025-03-13 13:00:07 · 891 阅读 · 0 评论