别焦虑，这份初学者入门大语言模型（LLM）教程学习路线给你做好了

最新推荐文章于 2024-09-23 14:12:25 发布

七七Seven～

最新推荐文章于 2024-09-23 14:12:25 发布

阅读量439

点赞数 3

文章标签：语言模型学习人工智能知识图谱运维自然语言处理

本文链接：https://blog.csdn.net/2401_84205765/article/details/139917767

版权

真的想入门大语言模型，只看这一个文章应该是可以入门的。但是修行下去，还是要靠自己的了！

如果你把大语言模型/LLM 当成一门技术来看，那就要看一下这门技术需要什么。

基本要求：

开发语言：Python, C/C++
开发框架：Numpy/Pytorch/Tensorflow/Keras/Onnx
数学知识：线性代数、高数、概率、凸优化

这些东西我们假定你都已经会了，或者熟练使用了。

如果不熟，我建议你自己再学习一下。尤其是数学的几个基本公式，是要学会的。我列一下吧。

数学核心内容

「线性代数」：关键概念包括向量、矩阵、特征值和特征向量。重要的公式涉及矩阵乘法、行列式以及特征值方程Av=λv，其中 A是矩阵，v 是特征向量，λ是特征值。
「高数」：基本主题是微分和积分，重点是理解极限、导数和积分的概念。函数 f(x) 在点 x的导数由f′(x)=limh→0 f(x+h)−f(x) 给出，基本微积分定理将微分与积分联系起来。
「概率」：关键点包括概率公理、条件概率、贝叶斯定理、随机变量和分布。例如，贝叶斯定理由P(A∣B)=P(B∣A)P(A)/P(B)给出，它帮助在发生B 的情况下更新 A 的概率。
「凸优化」：关注目标函数为凸函数的问题。关键概念包括凸集、凸函数、梯度下降和拉格朗日乘数。梯度下降更新规则可以表示为 xn+1 =xn −_α_∇_f_(xn )，其中 _α_是学习率。

你可以看到这些相对经常用到的数学，其实没有多难，只要你再看一下记住就好了。

开发框架

Numpy 主要是掌握各种数据的使用方法

Pytorch 与 Tensor、 Keras 就是完成各种网络及训练的方法

Transformer基础

做为 LLM 的基础模型，你要想入门，那对 Transformer 这个模型要了如指掌才成！

而 Transformer 的基本图像就是下面这样的：

推荐自己手写一个 Transformer 模型，至少要写一个 Attention 的结构。还要看懂下面这个图。你就能体会到一个至简的模型是怎么遵循 Scaling Law的，AGI 可能就在这个简单的重复与变大中了！

但是Transformer 这么简单的东西怎么就这么厉害了呢？整个大模型已经发展两三年了，如果你再不跟上，可能很快就淘汰了。

这些是个基础了。但是对于 LLM 来讲吧，如果你想自己继续研究，那可能要接触的就是下面这些东西了。

Prompt 工程
RAG 技术
Fine-Tune 技术
LLM Training From Scratch
LLM 部署及优化技术

这几项基本上是针对效果及成本的要求从低到高的顺序，也是技术上从简单到难的顺序列出来的。

「Prompt 工程」：涉及设计和完善给LLM的Prompt，来得到最准确或最有用的Response。核心原则是通过精心设计的问题或陈述引导LLM生成所需的输出。它需要理解LM的能力和限制，并且通常涉及反复试验以找到最有效的提示。基本技术就是三件事：
指令角色、精确表达、要求输出格式。
「RAG 技术（检索增强生成）」：RAG 是一种方法，结合了检索器模型来获取相关文档或数据和生成器模型来产生最终输出。这种技术通过外部信息丰富LLM的响应，提高其准确性和可靠性，特别是对于知识密集型任务。关键是有效整合检索和生成过程，以利用现有知识和生成能力。
你需要了解的就是 LangChain
「Fine-Tune 技术」：微调涉及在特定数据集或特定任务上轻微调整预训练模型参数以提高性能。这种方法允许利用大型预训练模型并将它们适应于专门的要求，无需进行大量重新训练。本质是保持LM的一般能力，同时为特定用例进行优化。
没啥好说的了，自己准备数据针对特定任务训练
「LLM 从零开始训练」：从头开始训练大型语言模型（LLM）意味着在不依赖现有预训练权重的情况下构建模型。这个过程涉及收集大量数据集、设计模型架构，然后在高性能计算资源上长时间训练模型。核心挑战是需要大量的计算能力和数据，以及有效管理训练过程的专业知识。
如果你没有在一个顶级的公司或者研究团队，想想就好了。
「LLM 部署及优化技术」：部署和优化LLM涉及有效提供预测的策略，同时有效管理计算资源。这包括模型量化（减少数字的精度以节省内存）、模型修剪（移除不那么重要的权重）和蒸馏（训练一个较小的模型来模仿一个较大的模型）。目标是减少模型的大小和推理时间，而不会显著影响其性能，使其适合生产环境。

如果你想学习大模型技术，😝有需要的小伙伴，可以点击下方链接免费领取🆓

一、大模型全套的学习路线

学习大型人工智能模型，如GPT-3、BERT或任何其他先进的神经网络模型，需要系统的方法和持续的努力。既然要系统的学习大模型，那么学习路线是必不可少的，下面的这份路线能帮助你快速梳理知识，形成自己的体系。

L1级别:AI大模型时代的华丽登场

L2级别：AI大模型API应用开发工程

L3级别：大模型应用架构进阶实践

L4级别：大模型微调与私有化部署

一般掌握到第四个级别，市场上大多数岗位都是可以胜任，但要还不是天花板，天花板级别要求更加严格，对于算法和实战是非常苛刻的。建议普通人掌握到L4级别即可。