让天下没有难学的大模型！！

▼最近直播超级多，预约保你有收获

最近在我的直播间，陆续有同学想要大模型技术应用的全景图，我和团队花了些时间整理出大模型技术以及应用的知识图谱，下面做个详细介绍，对了，别忘记领取文末的彩蛋。

 —1—

大模型的预训练技术 

大模型的预训练技术（Pre-traning）是大模型性能的根基，这部分技术门槛和成本门槛都很高，我们只需要简单了解就行，包含以下几个核心技术：Transformer 人工神经网络架构、MOE 多专家架构、Supervised Fine-tuning、Reinforcement Learning from Human Feedback（RLHF 基于人类反馈的强化学习）、数据工程、分布式预训练并行技术（数据并行、流水线并行、张量并行、序列并行、多维混合并行、自动并行、MOE 并行等）、分布式预训练并行框架（PyTorch、Megatron、DeepSpeed、Ray）、分布式预训练网络通信（点对点通信、集体通信、AllReduce、AllGather、梯度分桶、计算与通信重叠、跳过梯度同步）、分布式预训练流程（前向传递、损失计算、梯度计算、梯度通信、后向传递、优化器更新模型参数、保存模型）、分布式预训练策略（Batch Size、epoch、损失精度、梯度方法）、预训练评估技术。

 —2—

大模型的微调技术 

大模型微调技术是增强通用大模型能力，降低幻觉的核心技术，也是构建企业私有大模型两大技术手段之一（RAG、微调），因此需要好好掌握，包含以下几个核心技术：微调方法（LoRA、QLoRA、Prompt Tuning、Prefix Tuning、P-tuning V2 等）、高效微调框架（Hugging Face PEFT）、数据工程（数据获取、数据清洗、数据结构化、数据存储、数据查询）、微调评估技术。

 —3—

大模型的检索增强技术 

大模型检索增强生成技术是增强通用大模型能力，也是降低幻觉的大模型微调技术、同样是构建企业私有大模型两大技术手段之一（RAG、微调），因此需要好好掌握，包含以下几个核心技术：RAG 整体架构、Embedding Model、向量数据库、数据工程（数据获取、数据清洗、数据结构化、数据存储、数据查询）、RAG 开发框架（LlamaIndex）、RAG 增强评估技术、RAG 增强框架（C-RAG）。

 —4—

大模型的推理技术 

大模型推理是在线完成用户 Prompt 请求的技术架构，主要由推理效果和推理速度构成，也是必须要掌握的关键技术之一、主要包含以下几个核心技术：推理优化加速服务化框架（vLLM、TensorRT-LLM、Triton）、推理优化技术（PageAttenion、FlashAttention）。

 —5—

大模型的压缩技术 

大模型压缩是平衡推理效果和推理成本的主要实施技术，特别是预算有限的中心型公司，大模型的压缩技术就显得更加重要，包含技术如下：LLM 训练量化技术（LLM-QAT、QLoRA）、LLM 推理量化技术（GPTQ、LLM.int8()、SmoothQuant、AWQ、AutoAWQ、SpQR、ZeroQuant）、LLM 结构化剪枝技术（LLM-Pruner）、LLM 非结构化剪枝技术（SpareGPT、LoRAPrune、Wanda）、LLM 知识蒸馏技术（Standard KD、学生模型、老师模型、EA-based-KD（In-Context Learning 上下文学习、Chain-of-Thought 思维链、Instruction Following 指令跟随））、低秩分解技术（ZeroQuant-FP + 量化、LoRAPrune + 剪枝）。

 —6—

大模型的应用技术 

基于大模型的应用开发是每个 IT 同学都需要掌握的基本技能，这也是构建 AGI 时代新的应用形态 Agent 和产业应用升级的基本条件。主要包含以下几个核心技术：开发框架（LangChain、LlamaIndex、Semantic Kernel）、开发架构模式（面向过程架构设计、面向目标架构设计）、Agent 开发模式（Planing、Action、Observation）、向量数据库（Pinecone、Milvus、PgVector、Faiss、Redis、Elasticsearch 等）、应用部署硬件（GPU 选型、GPU / CPU 资源评估）、LLMOps（评估、测试、调试、监控、问题定位等）。

 —7—

大模型的基础设施技术 

大模型的基础设施技术是大模型应用运行的基座，非常重要。主要包含以下几个核心技术：大模型加速卡（AI 芯片技术、英伟达 GPU 技术、谷歌 TPU 技术）、AI 编译技术、AI 编译优化技术、AI 编译框架（ MLIR、XLA、TVM）、LLMOps（Docker、Kubernetes、可观测平台）、基础环境安装（英伟达 A800、英伟达 A100、英伟达 H800、昇腾 910/910B 安装）、常用工具（

• • Linux 常见命令大全

  • Conda 常用命令大全

  • Poetry 常用命令大全

  • Docker 常用命令大全

  • Docker Dockerfile 指令大全

  • Kubernetes 常用命令大全

  • 集群环境 GPU 管理和监控工具 DCGM 常用命令大全

）。

 —8—

我们把上述的大模型技术整理成知识图谱

由于 AI 大模型技术比较新，业界也没什么参照标准，打造 AI 大模型技术的知识图谱和学习路线并非一件容易的事，我和团队花费了6个多月时间，边整理、边摸索、边实践打造了业界首份 AI 大模型知识图谱和学习路线，纸质版长达1.2米。

这份 AI 大模型知识图谱包含了上述所有技术的知识图谱和学习路线，非常值得拥有，以下视频做了更详细的介绍：

 —9—

如何领取这份知识图谱？

我们的这份业界首创知识图谱和学习路线，今天免费送给大家一份!

只需要以下3步操作就可免费领取：

第一步：长按扫码以下我的视频号：玄姐谈AGI

第二步：扫码后，点击以下关注按钮，就可关注我。

第三步：点击"客服“按钮，回复“知识图谱”即可领取。

END