大模型核心技术就这么多！超全汇总学习资料，从入门到精通

大模型玩家

于 2024-10-08 10:10:53 发布

阅读量1.4k

点赞数 33

文章标签：人工智能深度学习机器学习职场和发展 ai 大模型算法

本文链接：https://blog.csdn.net/2401_85375186/article/details/142752812

版权

大模型的预训练技术

大模型的预训练技术（Pre-traning）是大模型性能的根基，这部分技术门槛和成本门槛都很高，我们需要了解以下几个核心技术：

Transformer 人工神经网络架构
MOE 多专家架构
Supervised Fine-tuning、Reinforcement Learning from Human Feedback（RLHF 基于人类反馈的强化学习）
数据工程
分布式预训练并行技术（数据并行、流水线并行、张量并行、序列并行、多维混合并行、自动并行、MOE 并行等）、
分布式预训练并行框架（PyTorch、Megatron、DeepSpeed、Ray）
分布式预训练网络通信（点对点通信、集体通信、AllReduce、AllGather、梯度分桶、计算与通信重叠、跳过梯度同步
分布式预训练流程（前向传递、损失计算、梯度计算、梯度通信、后向传递、优化器更新模型参数、保存模型
分布式预训练策略（Batch Size、epoch、损失精度、梯度方法
预训练评估技术。

大模型的微调技术

大模型微调技术是增强通用大模型能力，降低幻觉的核心技术，也是构建企业私有大模型两大技术手段之一（RAG、微调），因此需要好好掌握，包含以下几个核心技术：

微调方法（LoRA、QLoRA、Prompt Tuning、Prefix Tuning、P-tuning V2 等）
高效微调框架（Hugging Face PEFT）
数据工程（数据获取、数据清洗、数据结构化、数据存储、数据查询）
微调评估技术。

大模型的检索增强技术

大模型检索增强生成技术是增强通用大模型能力，也是降低幻觉的大模型微调技术、同样是构建企业私有大模型两大技术手段之一（RAG、微调），因此需要好好掌握，包含以下几个核心技术：

RAG 整体架构
Embedding Model
向量数据库
数据工程（数据获取、数据清洗、数据结构化、数据存储、数据查询）
RAG 开发框架（LlamaIndex）
RAG 增强评估技术
RAG 增强框架（C-RAG）

大模型的推理技术

大模型推理是在线完成用户 Prompt 请求的技术架构，主要由推理效果和推理速度构成，也是必须要掌握的关键技术之一、主要包含以下几个核心技术：

推理优化加速服务化框架（vLLM、TensorRT-LLM、Triton）
推理优化技术（PageAttenion、FlashAttention）

大模型的压缩技术

大模型压缩是平衡推理效果和推理成本的主要实施技术，特别是预算有限的中心型公司，大模型的压缩技术就显得更加重要，包含技术如下：

LLM 训练量化技术（LLM-QAT、QLoRA）、
LLM 推理量化技术（GPTQ、LLM.int8()、SmoothQuant、AWQ、AutoAWQ、SpQR、ZeroQuant）、
LLM 结构化剪枝技术（LLM-Pruner）、
LLM 非结构化剪枝技术（SpareGPT、LoRAPrune、Wanda）、
LLM 知识蒸馏技术（Standard KD、学生模型、老师模型、EA-based-KD（In-Context Learning 上下文学习、Chain-of-Thought 思维链、Instruction Following 指令跟随））、
低秩分解技术（ZeroQuant-FP + 量化、LoRAPrune + 剪枝）。

大模型的应用技术

基于大模型的应用开发是每个 IT 同学都需要掌握的基本技能，这也是构建 AGI 时代新的应用形态 Agent 和产业应用升级的基本条件。主要包含以下几个核心技术：

开发框架（LangChain、LlamaIndex、Semantic Kernel）
开发架构模式（面向过程架构设计、面向目标架构设计）
Agent 开发模式（Planing、Action、Observation）
向量数据库（Pinecone、Milvus、PgVector、Faiss、Redis、Elasticsearch 等）
应用部署硬件（GPU 选型、GPU / CPU 资源评估）
LLMOps（评估、测试、调试、监控、问题定位等）

大模型的基础设施技术

大模型的基础设施技术是大模型应用运行的基座，非常重要。主要包含以下几个核心技术：

大模型加速卡（AI 芯片技术、英伟达 GPU 技术、谷歌 TPU 技术）、
AI 编译技术、AI 编译优化技术、AI 编译框架（ MLIR、XLA、TVM）、
LLMOps（Docker、Kubernetes、可观测平台）
基础环境安装（英伟达 A800、英伟达 A100、英伟达 H800、昇腾 910/910B 安装）、
常用工具
- Linux 常见命令大全
- Conda 常用命令大全
- Poetry 常用命令大全
- Docker 常用命令大全
- Docker Dockerfile 指令大全
- Kubernetes 常用命令大全
- 集群环境 GPU 管理和监控工具 DCGM 常用命令大全
  
   零基础如何学习大模型 AI

领取方式在文末

为什么要学习大模型？

学习大模型课程的重要性在于它能够极大地促进个人在人工智能领域的专业发展。大模型技术，如自然语言处理和图像识别，正在推动着人工智能的新发展阶段。通过学习大模型课程，可以掌握设计和实现基于大模型的应用系统所需的基本原理和技术，从而提升自己在数据处理、分析和决策制定方面的能力。此外，大模型技术在多个行业中的应用日益增加，掌握这一技术将有助于提高就业竞争力，并为未来的创新创业提供坚实的基础。

大模型典型应用场景

①AI+教育：智能教学助手和自动评分系统使个性化教育成为可能。通过AI分析学生的学习数据，提供量身定制的学习方案，提高学习效果。
②AI+医疗：智能诊断系统和个性化医疗方案让医疗服务更加精准高效。AI可以分析医学影像，辅助医生进行早期诊断，同时根据患者数据制定个性化治疗方案。
③AI+金融：智能投顾和风险管理系统帮助投资者做出更明智的决策，并实时监控金融市场，识别潜在风险。
④AI+制造：智能制造和自动化工厂提高了生产效率和质量。通过AI技术，工厂可以实现设备预测性维护，减少停机时间。

⑤AI+零售：智能推荐系统和库存管理优化了用户体验和运营成本。AI可以分析用户行为，提供个性化商品推荐，同时优化库存，减少浪费。

⑥AI+交通：自动驾驶和智能交通管理提升了交通安全和效率。AI技术可以实现车辆自动驾驶，并优化交通信号控制，减少拥堵。

…
这些案例表明，学习大模型课程不仅能够提升个人技能，还能为企业带来实际效益，推动行业创新发展。