从深度学习到大语言模型：一文看尽AI学习框架的江湖格局

原创已于 2025-04-18 15:38:48 修改 · 1.4k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能 #深度学习 #语言模型 #python #学习

于 2025-03-23 11:40:39 首次发布

人工智能学习框架专栏收录该内容

3 篇文章

订阅专栏

部署运行你感兴趣的模型镜像

个人简介

作者简介：全栈研发，具备端到端系统落地能力，专注大模型的压缩部署、多模态理解与 Agent 架构设计。热爱“结构”与“秩序”，相信复杂系统背后总有简洁可控的可能。
我叫观熵。不是在控熵，就是在观测熵的流动
个人主页：观熵
个人邮箱：privatexxxx@163.com
座右铭：愿科技之光，不止照亮智能，也照亮人心！

专栏导航

观熵系列专栏导航：
AI前沿探索：从大模型进化、多模态交互、AIGC内容生成，到AI在行业中的落地应用，我们将深入剖析最前沿的AI技术，分享实用的开发经验，并探讨AI未来的发展趋势
AI开源框架实战：面向 AI 工程师的大模型框架实战指南，覆盖训练、推理、部署与评估的全链路最佳实践
计算机视觉：聚焦计算机视觉前沿技术，涵盖图像识别、目标检测、自动驾驶、医疗影像等领域的最新进展和应用案例
国产大模型部署实战：持续更新的国产开源大模型部署实战教程，覆盖从模型选型 → 环境配置 → 本地推理 → API封装 → 高性能部署 → 多模型管理的完整全流程
TensorFlow 全栈实战：从建模到部署：覆盖模型构建、训练优化、跨平台部署与工程交付，帮助开发者掌握从原型到上线的完整 AI 开发流程
PyTorch 全栈实战专栏： PyTorch 框架的全栈实战应用，涵盖从模型训练、优化、部署到维护的完整流程
深入理解 TensorRT：深入解析 TensorRT 的核心机制与部署实践，助力构建高性能 AI 推理系统
Megatron-LM 实战笔记：聚焦于 Megatron-LM 框架的实战应用，涵盖从预训练、微调到部署的全流程
AI Agent：系统学习并亲手构建一个完整的 AI Agent 系统，从基础理论、算法实战、框架应用，到私有部署、多端集成
DeepSeek 实战与解析：聚焦 DeepSeek 系列模型原理解析与实战应用，涵盖部署、推理、微调与多场景集成，助你高效上手国产大模型
端侧大模型：聚焦大模型在移动设备上的部署与优化，探索端侧智能的实现路径
行业大模型 · 数据全流程指南：大模型预训练数据的设计、采集、清洗与合规治理，聚焦行业场景，从需求定义到数据闭环，帮助您构建专属的智能数据基座
机器人研发全栈进阶指南：从ROS到AI智能控制：机器人系统架构、感知建图、路径规划、控制系统、AI智能决策、系统集成等核心能力模块
人工智能下的网络安全：通过实战案例和系统化方法，帮助开发者和安全工程师识别风险、构建防御机制，确保 AI 系统的稳定与安全
智能 DevOps 工厂：AI 驱动的持续交付实践：构建以 AI 为核心的智能 DevOps 平台，涵盖从 CI/CD 流水线、AIOps、MLOps 到 DevSecOps 的全流程实践。
C++学习笔记？：聚焦于现代 C++ 编程的核心概念与实践，涵盖 STL 源码剖析、内存管理、模板元编程等关键技术
AI × Quant 系统化落地实战：从数据、策略到实盘，打造全栈智能量化交易系统
大模型运营专家的Prompt修炼之路：本专栏聚焦开发 / 测试人员的实际转型路径，基于 OpenAI、DeepSeek、抖音等真实资料，拆解从入门到专业落地的关键主题，涵盖 Prompt 编写范式、结构输出控制、模型行为评估、系统接入与 DevOps 管理。每一篇都不讲概念空话，只做实战经验沉淀，让你一步步成为真正的模型运营专家。

从深度学习到大语言模型：一文看尽AI学习框架的江湖格局

请添加图片描述

作者注：本文适合长期泡在PyTorch和TensorFlow之间焦头烂额的工程师，也适合刚刚准备投身AI战场、想选个趁手兵器的产品汪。还有那些误打误撞把Stable Diffusion装成稳定币钱包的程序员——你们更该看看。

壹、前言：当我们谈AI框架时，我们在谈什么？

AI框架，就像是江湖门派的内功心法。有人练TensorFlow，走的是正统大宗、兵器多样；有人爱PyTorch，招式灵活、打得酣畅；还有些门派虽然偏门，但内劲深厚，一出手就能夺人眼球。更别说那群搞NLP、CV、RL、语音、联邦学习的分支门派，个个都有自己的独门绝技。

今天咱们不卷论文，不谈模型参数，只想带你一口气逛遍AI框架的十六路诸侯，看看这江湖都谁在出招，谁又在闭关修炼。

贰、正宗五大掌门：深度学习主流框架

1. TensorFlow

出身：Google亲儿子
特点：工程味浓、部署友好、适合工业级项目
标签：大厂最爱、移动端部署支持好、Keras亲民接口
槽点：静态图调试像掏盲盒，2.x之后才人性化

曾经的江湖霸主，现在稍显沉稳。虽然在学术界风头不再，但在企业里它依然是“稳健担当”。有钱有资源，生态全到不行，从TFLite到TFServing，闭着眼也能上线。

2. PyTorch

出身：Meta（前Facebook）AI研究院
特点：动态图、代码即模型、研究友好
标签：学术圈宠儿、灵活、debug如丝滑
槽点：部署曾经拉跨，TorchScript终于补锅

“打不过你我就加入你”，这话TorchScript应该最懂。好在现在PyTorch几乎完成对工业端的补全，甚至成为Hugging Face模型的默认后端，江湖地位稳中带王气。

3. JAX

出身：谷歌X部门
特点：自动微分、硬核数学、速度飞起
标签：科研界新贵、函数式编程、NumPy党狂喜
槽点：学习曲线陡峭，纯数学系口味

你可以把JAX看成“开挂的NumPy”。如果你喜欢撸代码就像推导公式一样精细，那它绝对适合你。JAX对科研党来说是“灵魂磨刀石”，对应用党则是“放逐星人”。

4. MXNet

出身：亚马逊
特点：多语言、多设备、分布式训练
标签：曾被深度学习100讲推荐，AWS默认支持
槽点：生态羸弱、社区逐渐冷却

曾经的“明日之星”，但现在的热度已被PyTorch吊打。更像个被AWS养在深宫的贵妃，时不时出来露个脸。

5. PaddlePaddle（飞桨）

出身：百度
特点：国产之光、中文友好、政企适配
标签：国产适配神器、硬件兼容广、文档详尽
槽点：海外生态薄弱，国际影响力一般

适合国产信创场景部署，一键转换模型到国产芯片平台，文档细致得像小学数学讲义。国产AI应用必备，不吹不黑，飞桨是真的稳。

叁、分支流派初现：经典机器学习框架

6. Scikit-learn

关键词：简单、好用、适合原型开发
代表功法：SVM、随机森林、KNN、PCA…

轻便如匕首，干净利落。做数据分析、竞赛原型、教学示例，sklearn永远值得信赖。

7. XGBoost

关键词：Kaggle封神之作、梯度提升树

如果比赛场是武林大会，XGBoost一定是“最会投喂观众”的表演型选手，虽然你听说过深度学习，但排行榜上它从没缺席。

8. LightGBM

关键词：微软出品、更快更准

XGBoost的亲兄弟，但显然吃了更多“轻量高效”的药丸，在大规模数据集上开挂一样的存在。

肆、功夫越练越野：强化学习专属兵器

9. Stable Baselines3（SB3）

标签：PyTorch重构、快速上手
适合人群：做RL的、打算训练机器人、玩自动驾驶

配合Gym环境简直天作之合，像是一整套开箱即用的“武功秘籍”。你只管定义策略，它帮你打副本。

10. RLlib（来自Ray）

标签：分布式、企业级
适合人群：真正在大规模RL场景下撸模型的团队

如果你嫌SB3太小家子气，RLlib这种“道门大宗”绝对值得一试。

伍、AI江湖的文艺门派：自然语言处理

11. Hugging Face Transformers

关键词：开箱即用、预训练模型、NLP神器
支持：BERT、GPT、T5、BLOOM、LLaMA等

你可以不懂Transformer架构，但你不能不知道from transformers import xxx。这已经成为NLP领域的“Hello World”。

12. spaCy

关键词：轻量、高性能、工业级

不像Transformers那样炫技，spaCy更像是办公室里那个靠谱的老员工：不出风头、默默搞定任务。

陆、AI江湖的视觉门派：CV框架

13. OpenCV

关键词：图像处理鼻祖、C++ & Python双修

经典到可以写入AI课本第一章的存在。从图像滤波到特征检测，它是老祖宗级别的存在。

14. Detectron2

出身：Meta AI
关键词：实例分割、目标检测、Mask R-CNN

做视觉任务的高端玩家必备工具。基本能满足所有检测需求。虽然入门门槛不低，但一旦掌握，收益巨大。

柒、耳听八方：语音识别框架

15. Kaldi

关键词：ASR届神兵利器、玄学参数调优

说它是“语音识别中的Caffe”毫不为过。虽然门槛高到劝退初学者，但行业标准就是它。

16. DeepSpeech

关键词：Mozilla出品、端到端

对初学者更友好，部署也方便，但目前项目更新缓慢，更多作为教学或轻量部署使用。

捌、联邦学习门派：数据不动、模型动

17. FATE

关键词：微众银行、隐私保护、国产化

如果你做的是政企或者医疗领域的数据合作，那FATE绝对是保命符。

18. TensorFlow Federated

关键词：谷歌出品、深度整合TF生态

比起FATE更偏研究与教学，但生态绑定得死死的，适合TF深度用户。

玖、自动打怪升级流：AutoML

19. Auto-Keras

关键词：自动建模、自动调参

适合“我不想知道为什么，我就想模型牛”的人。

20. TPOT

关键词：遗传算法、管道组合

神奇得像是把AI建模变成了模拟经营游戏，给出数据，它帮你拼出最优组合。

拾、大Boss级角色：大语言模型框架

21. DeepSeek-V3

关键词：国产GPT-4o替代、数学与代码能力强、开源

这是近半年最猛的一匹黑马。在数学、编码、中文等维度全面媲美甚至超越GPT-4。重点是，它——开——源！国产厂商可以敞开玩，科研圈一片欢呼。

22. MLC LLM

关键词：设备上运行大模型、TVM兼容

你想在iPhone上跑大模型？它来了。边缘计算与LLM结合的典范，未来潜力巨大。

拾壹、总结：如何选对你的AI门派？

需求方向	推荐框架	理由
通用深度学习	PyTorch, TensorFlow	一个偏灵活，一个偏部署，研究 & 工业双全
快速原型	Keras, Scikit-learn	低门槛，高效率，适合教学和demo
视觉任务	OpenCV, Detectron2	OpenCV搞图像处理，Detectron2搞检测与分割
NLP	Transformers, spaCy	Transformers拿预训练，spaCy搞管线
强化学习	SB3, RLlib	SB3简单实用，RLlib适合分布式大工程
联邦学习	FATE, TFF	一个国产政企适配，一个科研教学为主
AutoML	Auto-Keras, TPOT	Auto-Keras适合深度模型，TPOT适合传统ML
本地大模型	DeepSeek-V3, MLC	一个国产大语言模型代表，一个移动端布道师