最佳大模型技术知识图谱学习路径！

程序员二飞

于 2024-10-07 11:02:37 发布

阅读量374

点赞数 16

文章标签：知识图谱学习人工智能深度学习自然语言处理语言模型

本文链接：https://blog.csdn.net/xiangxueerfei/article/details/142737154

版权

LLM 大模型技术知识最佳学习路径

今天我们就来剖析下 LLM 大模型技术知识的学习路径。如果你是一个 LLM 大模型的“技术小白”，我们建议的学习路径如下：

第一步：学习大模型内核架构，对 Transformer 神经网络架构有个大致的了解，能够搞懂：LLM 大模型是如何预测下一个 token 的、涌现是如何产生的、幻觉问题如何避免、在线推理的性能问题如何解决、LLM 大模型的选型。

第二步：学习大模型开发 API，对 LLM 大模型的能力有个详细了解，能够搞懂：LLM 都提供了哪些功能、有哪些 API 接口以及对应的用法。就可以开发基于大模型的应用程序了。

第三步：学习开发框架，对主流的开发框架（比如：LangChain）有个大致的了解，能够掌握：开发框架本身的技术原理、开发框架选型、开发框架提供的功能、基于开发框架快速开发大模型应用程序。

第四步：学习向量数据库，向量数据库负责应用程序的数据存储，能够掌握：向量数据库的基础架构、向量数据库选型、向量数据库的索引建立、向量数据库的查询接口、向量数据库的性能优化等。

第五步：学习 AI 编程，快速提升编码学习，能够掌握：AI 编程框架的技术架构原型、AI 编程产品的选型、AI 编程功能的灵活应用。

学习完以上5步，就能够开发出一个 AGI 时代的新应用程序了，如果开发的这个应用程序要性能好、要健壮、要功能丰富等，就要继续学习以下的 LLM 大模型的技术知识。

第六步：学习 AI Agent，AI Agent 是 AGI 时代新的应用程序形态，类比移动互联网时代的 APP 形态，能够掌握：AI Agent 的5个技术组件（LLM、Planning、Memory、Tools Use、Action）、AI Agent 的开发框架（LangChain）、AI Agent Function Calling 函数调用。

第七步：学习缓存，LLM 大模型的推理成本比较高，推理速度也高达秒级，缓存是降低大模型推理成本和提升推理速度的一剂良药。能够掌握：缓存的两种匹配方法、缓存的计算原理、基于 GPTCache 的缓存方法、提升缓存命中率的方法。

第八步：学习算力，算力是大模型以及上层应用的资源，能够掌握：业界主流的算力产品、算力如何计算评估、算力如何选型等。

通过以上三步的学习，就能够构建出一个企业级的 AI Agent 应用，可以是增量的新 AI Agent 应用（比如：业务助手类），也是和已有业务结合的存量 AI Agent 应用（比如：智能客服、搜索、推荐、广告、风控、数据分析、BI等），并能能够对 AI Agent 的运行资源做出合适的评估量化。

第九步：学习 RAG（Retrieval Augmented Generation），RAG 是 LLM 大模型能力增强的一种方式，能够掌握：知识库的向量化构建技术、基于向量数据库的检索技术、基于 Prompt 的大模型增强技术。

第十步：学习大模型微调（Fine-tuning），微调也是 LLM 大模型能力增强的另外一种方式，能够掌握：微调的常用算法、微调的算法选型、微调的高效 PEFT 框架、微调的数据工程技术、微调的训练策略。

以上两步涉及的技术实际上是企业级私有大模型的构建技术，学会以上两步的学习，就能够构建企业级私有专用大模型了。

第十一步：学习大模型预训练，大模型预训练本身由于涉及雄厚的资金壁垒，注定是“大厂”的游戏，但是大模型预训练本身的技术很值得我们学习，能够掌握：预训练数据获取技术、预训练数据工程技术、预训练策略设计、预训练分布式并行技术等。

第十二步：学习 LLMOps，LLMOps 是在 MLOps 基础之上，覆盖了大模型以及应用的开发、调试、测试、部署、调优、运维治理等一套完整的流程，能够掌握：数据工具、模型工具、部署工具、迭代工具等。

通过以上12个步骤的学习，就能够深度应用 LLM 大模型技术，高效开发 AGI时代企业级新的应用程序，做一名高薪的 AI 大模型开发工程师。

读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用

对于0基础小白入门：