AI 大模型技术经过2024年的狂飙,2025年迎来应用的落地,对 IT 同学来讲,这里蕴含着大量的技术机会,人人必备开发技能。 文讨论 AI 大模型开发技术大师的修炼之道,试图找到一个共同的速成模式,希望对 IT 同学有所助益!
第一步:学会大模型内核架构,对 Transformer 神经网络架构有个大致的了解,能够搞懂 :LLM 大模型是如何预测下一个 token 的、涌现是如何产生的、幻觉问题如何避免、在线推理的性能问题如何解决、LLM 大模型的选型。
第二步:学会大模型开发 API,对 LLM 大模型的能力有个详细了解,能够搞懂:LLM 都提供了哪些功能、有哪些 API 接口以及对应的用法。就可以开发基于大模型的应用程序了。
第三步:学会开发框架,对主流的开发框架(比如:LangChain)有个大致的了解,能够掌握:开发框架本身的技术原理、开发框架选型、开发框架提供的功能、基于开发框架快速开发大模型应用程序。
第四步:学会向量数据库,向量数据库负责应用程序的数据存储,能够掌握:向量数据库的基础架构、向量数据库选型、向量数据库的索引建立、向量数据库的查询接口、向量数据库的性能优化等。
第五步:学会 AI 编程,快速提升编码学习,能够掌握:AI 编程框架的技术架构原型、AI 编程产品的选型、AI 编程功能的灵活应用。
学会以上5步,就能够开发出一个 AGI 时代的新应用程序了,如果开发的这个应用程序要性能好、要健壮、要功能丰富等,就要继续学习以下的 LLM 大模型的技术知识。
第六步:搞定 AI Agent,AI Agent 是 AGI 时代新的应用程序形态,类比移动互联网时代的 APP 形态,能够掌握:AI Agent 的5个技术组件(LLM、Planning、Memory、Tools Use、Action)、AI Agent 的开发框架(LangChain)、AI Agent Function Calling 函数调用。
第七步:搞定大模型缓存,LLM 大模型的推理成本比较高,推理速度也高达秒级,缓存是降低大模型推理成本和提升推理速度的一剂良药。能够掌握:缓存的两种匹配方法、缓存的计算原理、基于 GPTCache 的缓存方法、提升缓存命中率的方法。
第八步:搞定算力,算力是大模型以及上层应用的资源,能够掌握:业界主流的算力产品、算力如何计算评估、算力如何选型等。
通过以上三步的学习,就能够构建出一个企业级的 AI Agent 应用了,可以是增量的新 AI Agent 应用(比如:业务助手类),也是和已有业务结合的存量 AI Agent 应用(比如:智能客服、搜索、推荐、广告、风控、数据分析、BI等),并能能够对 AI Agent 的运行资源做出合适的评估量化。
第九步:驾驭 RAG(Retrieval Augmented Generation),RAG 是 LLM 大模型能力增强的一种方式,能够掌握:知识库的向量化构建技术、基于向量数据库的检索技术、基于 Prompt 的大模型增强技术。
第十步:驾驭大模型微调(Fine-tuning),微调也是 LLM 大模型能力增强的另外一种方式,能够掌握:微调的常用算法、微调的算法选型、微调的高效 PEFT 框架、微调的数据工程技术、微调的训练策略。
以上两步涉及的技术实际上是企业级私有大模型的构建技术,学会以上两步的学习,就能够构建企业级私有专用大模型了。
第十一步:深入大模型预训练,大模型预训练本身由于涉及雄厚的资金壁垒,注定是“大厂”的游戏,但是大模型预训练本身的技术很值得我们学习,能够掌握:预训练数据获取技术、预训练数据工程技术、预训练策略设计、预训练分布式并行技术等。
第十二步:深入 LLMOps,LLMOps 是在 MLOps 基础之上,覆盖了大模型以及应用的开发、调试、测试、部署、调优、运维治理等一套完整的流程,能够掌握:数据工具、模型工具、部署工具、迭代工具等。
通过以上12个步骤的学习,就能够深度应用 LLM 大模型技术,高效开发 AGI时代企业级新的应用程序,做一名高薪的 AI 大模型开发大师。
我们梳理了下 AI 大模型的知识图谱,包括12项核心技能:大模型内核架构、大模型开发 API、开发框架、向量数据库、AI 编程、AI Agent、缓存、算力、RAG、大模型微调、大模型预训练、LLMOps 等。
一、大模型风口已至:月薪30K+的AI岗正在批量诞生
2025年大模型应用呈现爆发式增长,根据工信部最新数据:
国内大模型相关岗位缺口达47万
初级工程师平均薪资28K(数据来源:BOSS直聘报告)
70%企业存在"能用模型不会调优"的痛点
真实案例:某二本机械专业学员,通过4个月系统学习,成功拿到某AI医疗公司大模型优化岗offer,薪资直接翻3倍!
二、如何学习大模型 AI ?
🔥AI取代的不是人类,而是不会用AI的人!麦肯锡最新报告显示:掌握AI工具的从业者生产效率提升47%,薪资溢价达34%!🚀
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
1️⃣ 提示词工程:把ChatGPT从玩具变成生产工具
2️⃣ RAG系统:让大模型精准输出行业知识
3️⃣ 智能体开发:用AutoGPT打造24小时数字员工
📦熬了三个大夜整理的《AI进化工具包》送你:
✔️ 大厂内部LLM落地手册(含58个真实案例)
✔️ 提示词设计模板库(覆盖12大应用场景)
✔️ 私藏学习路径图(0基础到项目实战仅需90天)
第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。