▼最近直播超级多,预约保你有收获
近期直播:《LLM推理架构设计和部署落地实战》
—1—
LLM 大模型技术知识图谱
LLM 大模型技术体系是相对比较复杂的,如何构建一条清晰的学习路径对每一个 IT 同学都是非常重要的,我们梳理了下 LLM 大模型的知识图谱,主要包括12项核心技能:算力、大模型内核架构、大模型开发 API、开发框架、缓存、AI Agent、大模型预训练、大模型微调、RAG、向量数据库、AI 编程、LLMOps 等核心技能,下面详细拆解 LLM 大模型技术知识图谱。
技能一、算力
提供 GPU 的计算和存储能力,国外厂商 NVIDIA 英伟达提供的 A100、H100等 GPU,国内厂商华为昇腾 910、昆仑芯 R100 等 GPU。
技能二、大模型内核架构
Transformer 神经网络架构(Embedding、编码器、多头注意力机制、前馈网络、残差网络、解码器等技术)是大语言模型的灵魂,业界顶级的大模型在 Transformer 架构的基础上会优化。
GPT-X 技术架构、ChatGLM 技术架构、通义千问技术架构、百川技术架构。
技能三、大模型开发 API
文本开发 API:Embedding Model、Text Completion、Chat Completion、Function Calling、Assistants API 等。
多模态开发 API:GPT-4V 视觉开发 API、DALL-E 3 图像开发 API、TTS 语音开发 API。
技能四、开发框架
LangChain 开发框架核心组件:LangChain Libraries [LangChain、LangChain-Community、LangChain-Core]、LangChain Templates、LangServe、LangSmith。
Semantic Kernel 开发框架核心组件:Models and Memory、Connections、Plugins、Triggers and actions。
LlamaIndex 开发框架核心组件:Data Ingestion、Data Indexing、Query Interface。
技能五、缓存
GPTCache 核心组件:LLM Adapter、Embedding Generator、Vector Store、Cache Storage、Similarity Evaluator。
技能六、AI Agent
AI Agent 技术构成:LLM、Planning、Memory、Tools use、Action。
AI Agent 的代表产品:AutoGPT、MetaGPT、BabyAGI、智能客服、企业知识库等。
技能七、大模型预训练
数据工程、训练数据 batch 选择、训练策略、前向网络计算损失、后向传播计算梯度、分布式并行、数据并行、模型并行、张量并行、流水线并行、3D 并行、accelerate 加速、混合精度、梯度累积通信加速、RLHF、RLAIF、奖励模型、PPO 强化学习模型等。
技能八、大模型微调
全参数 Fine-tuning、小参数 Fine-tuning、Hugging face PEFT、 Adapter、Prompt Tuning、LoRA、QLoRA、P-Tuning V2、Prefix Tuning。
技能九、RAG
Retrieval Augmented Generation 检索增强生成:知识库、格式化(format)、切分(split)、向量化(vectorize)、用户问题向量化、Prompt 组装、筛选 chunks、相似度算法(cos、BM25、knn、欧式距离等)、向量数据库(Faiss等)。
技能十、向量数据库
国产向量数据库:Milvus、Tencent Cloud VectorDB、Zilliz Cloud 等;
海外向量数据库:Pinecone、Redis、Faiss、PgVector、Elasticsearch Cloud 等。
向量数据库技术:存储层:Object 存储、KV 存储、Indexing 索引;计算层:向量计算、标量计算;接入层:自然语言查询接口、向量查询接口、标量查询接口。
技能十一、AI 编程
国外 AI 编程产品:GitHub Copilot、Codex、Code Llama(Meta)、CodeWhisperer(亚马逊)、Cursor、Bito;
国内 AI 编程产品:CodeGeex(清华智谱)、Comate(百度)、CodeArts Snap(华为)、CodeFuse(蚂蚁)、CodeShell(北大)。
AI 编程技术:AI 编程大模型、模型质量评估、HumanEval、pass@x、模型性能评估等。
技能十二、LLMOps
LLMOps 是大语言模型在 MLOps 基础上的延伸,覆盖了大语言模型的开发、部署、应用、维护和优化等一整套流程。包括:数据工具:语料管理、Prompt管理;模型工具:模型训练、模型微调;部署工具:服务部署、Prompt编排、模型部署;迭代工具:评测、标注、持续监控。
LLMOps 技术:成本估算、模型量化、模型蒸馏、计算图优化、模型编译、硬件优化、效果评估、并行计算、显存优化(ZeRO、ZeRO-Offload、activation checkpoint)、参数高效微调等。
为了帮助每一个程序员掌握以上 AI 大模型开发的12项技能,我们准备了一系列免费直播干货,覆盖以上大模型架构内核、Fine-tuning 微调、RAG、LangChain 开发框架、Agent 开发、向量数据库、部署治理等核心技术,扫码一键免费全部预约免费领取!
END