2024初学者怎么入门LLM大语言模型（LLM）？

最新推荐文章于 2024-09-25 11:39:39 发布

瓦罗兰特顶级C位

最新推荐文章于 2024-09-25 11:39:39 发布

阅读量684

点赞数 27

文章标签：语言模型人工智能自然语言处理 embedding ai产品经理大模型 LLM

本文链接：https://blog.csdn.net/wufjsjjx/article/details/140550625

版权

真的想入门大语言模型，只看这一个文章应该是可以入门的。但是修行下去，还是要靠自己的了！

如果你把大语言模型/LLM 当成一门技术来看，那就要看一下这门技术需要什么。

基本要求：

开发语言：Python, C/C++
开发框架：Numpy/Pytorch/Tensorflow/Keras/Onnx
数学知识：线性代数、高数、概率、凸优化

这些东西我们假定你都已经会了，或者熟练使用了。

如果不熟，我建议你自己再学习一下。尤其是数学的几个基本公式，是要学会的。我列一下吧。

数学核心内容

「线性代数」：关键概念包括向量、矩阵、特征值和特征向量。重要的公式涉及矩阵乘法、行列式以及特征值方程Av=λv，其中 A是矩阵，v 是特征向量，λ是特征值。
「高数」：基本主题是微分和积分，重点是理解极限、导数和积分的概念。函数 f(x) 在点 x的导数由f′(x)=limh→0 f(x+h)−f(x) 给出，基本微积分定理将微分与积分联系起来。
「概率」：关键点包括概率公理、条件概率、贝叶斯定理、随机变量和分布。例如，贝叶斯定理由P(A∣B)=P(B∣A)P(A)/P(B)给出，它帮助在发生B 的情况下更新 A 的概率。
「凸优化」：关注目标函数为凸函数的问题。关键概念包括凸集、凸函数、梯度下降和拉格朗日乘数。梯度下降更新规则可以表示为 xn+1 =xn −α∇f(xn )，其中 α是学习率。

你可以看到这些相对经常用到的数学，其实没有多难，只要你再看一下记住就好了。

开发框架

Numpy 主要是掌握各种数据的使用方法

Pytorch 与 Tensor、 Keras 就是完成各种网络及训练的方法

你至少要能保证下面的代码里的每一行代码都能完全理解

import torch
from torch import nn, optim
from torchvision import datasets, transforms
from torch.utils.data import DataLoader
# Define a transformation to normalize the data
transform = transforms.Compose([transforms.ToTensor(), transforms.Normalize((0.5,), (0.5,))])
# Load the Fashion MNIST dataset
train_dataset = datasets.FashionMNIST(root='./data', train=True, download=True, transform=transform)
test_dataset = datasets.FashionMNIST(root='./data', train=False, download=True, transform=transform)
train_loader = DataLoader(train_dataset, batch_size=64, shuffle=True)
test_loader = DataLoader(test_dataset, batch_size=64, shuffle=False)
# Define the neural network structure
class FashionMNISTNN(nn.Module):
    def __init__(self):
        super(FashionMNISTNN, self).__init__()
        self.flatten = nn.Flatten()
        self.linear_relu_stack = nn.Sequential(
            nn.Linear(28*28, 512),
            nn.ReLU(),
            nn.Linear(512, 256),
            nn.ReLU(),
            nn.Linear(256, 10),
        )
    def forward(self, x):
        x = self.flatten(x)
        logits = self.linear_relu_stack(x)
        return logits
model = FashionMNISTNN()
# Define the loss function and optimizer
loss_fn = nn.CrossEntropyLoss()
optimizer = optim.Adam(model.parameters(), lr=0.001)
# Function to train the model
def train(dataloader, model, loss_fn, optimizer):
    size = len(dataloader.dataset)
    model.train()
    for batch, (X, y) in enumerate(dataloader):
        # Compute prediction and loss
        pred = model(X)
        loss = loss_fn(pred, y)
        # Backpropagation
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()
        if batch % 100 == 0:
            loss, current = loss.item(), batch * len(X)
            print(f"loss: {loss:>7f}  [{current:>5d}/{size:>5d}]")
# Function for testing the model
def test(dataloader, model, loss_fn):
    size = len(dataloader.dataset)
    num_batches = len(dataloader)
    model.eval()
    test_loss, correct = 0, 0
    with torch.no_grad():
        for X, y in dataloader:
            pred = model(X)
            test_loss += loss_fn(pred, y).item()
            correct += (pred.argmax(1) == y).type(torch.float).sum().item()
    test_loss /= num_batches
    correct /= size
    print(f"Test Error: \n Accuracy: {(100*correct):>0.1f}%, Avg loss: {test_loss:>8f} \n")
# Train the model
epochs = 5
for t in range(epochs):
    print(f"Epoch {t+1}\n-------------------------------")
    train(train_loader, model, loss_fn, optimizer)
    test(test_loader, model, loss_fn)
print("Done!")
print("关注微信公众号：佑佑有话说")

注意，是每一行代码，都能完全理解！！！

Transformer基础

做为 LLM 的基础模型，你要想入门，那对 Transformer 这个模型要了如指掌才成！

而 Transformer 的基本图像就是下面这样的：

推荐自己手写一个 Transformer 模型，至少要写一个 Attention 的结构。还要看懂下面这个图。你就能体会到一个至简的模型是怎么遵循 Scaling Law的，AGI 可能就在这个简单的重复与变大中了！

但是Transformer 这么简单的东西怎么就这么厉害了呢？整个大模型已经发展两三年了，如果你再不跟上，可能很快就淘汰了。

「只要你有想法，你就有结果！只要你投入，就会有成就！」

这些是个基础了。但是对于 LLM 来讲吧，如果你想自己继续研究，那可能要接触的就是下面这些东西了。

Prompt 工程
RAG 技术
Fine-Tune 技术
LLM Training From Scratch
LLM 部署及优化技术

这几项基本上是针对效果及成本的要求从低到高的顺序，也是技术上从简单到难的顺序列出来的。

「Prompt 工程」：涉及设计和完善给LLM的Prompt，来得到最准确或最有用的Response。核心原则是通过精心设计的问题或陈述引导LLM生成所需的输出。它需要理解LM的能力和限制，并且通常涉及反复试验以找到最有效的提示。基本技术就是三件事：
指令角色、精确表达、要求输出格式。
「RAG 技术（检索增强生成）」：RAG 是一种方法，结合了检索器模型来获取相关文档或数据和生成器模型来产生最终输出。这种技术通过外部信息丰富LLM的响应，提高其准确性和可靠性，特别是对于知识密集型任务。关键是有效整合检索和生成过程，以利用现有知识和生成能力。
你需要了解的就是 LangChain
「Fine-Tune 技术」：微调涉及在特定数据集或特定任务上轻微调整预训练模型参数以提高性能。这种方法允许利用大型预训练模型并将它们适应于专门的要求，无需进行大量重新训练。本质是保持LM的一般能力，同时为特定用例进行优化。
没啥好说的了，自己准备数据针对特定任务训练
「LLM 从零开始训练」：从头开始训练大型语言模型（LLM）意味着在不依赖现有预训练权重的情况下构建模型。这个过程涉及收集大量数据集、设计模型架构，然后在高性能计算资源上长时间训练模型。核心挑战是需要大量的计算能力和数据，以及有效管理训练过程的专业知识。
如果你没有在一个顶级的公司或者研究团队，想想就好了。
「LLM 部署及优化技术」：部署和优化LLM涉及有效提供预测的策略，同时有效管理计算资源。这包括模型量化（减少数字的精度以节省内存）、模型修剪（移除不那么重要的权重）和蒸馏（训练一个较小的模型来模仿一个较大的模型）。目标是减少模型的大小和推理时间，而不会显著影响其性能，使其适合生产环境。

如何系统的去学习AI大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

所有资料 ⚡️ ，朋友们如果有需要全套《LLM大模型入门+进阶学习资源包》，扫码获取~

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。那以下这些PDF籍就是非常不错的学习资源。

在这里插入图片描述

四、AI大模型商业化落地方案

阶段1：AI大模型时代的基础理解

目标：了解AI大模型的基本概念、发展历程和核心原理。
内容：
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
  - L1.4.1 知识大模型
  - L1.4.2 生产大模型
  - L1.4.3 模型工程方法论
  - L1.4.4 模型工程实践
- L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
内容：
- L2.1 API接口
  - L2.1.1 OpenAI API接口
  - L2.1.2 Python接口接入
  - L2.1.3 BOT工具类框架
  - L2.1.4 代码示例
- L2.2 Prompt框架
  - L2.2.1 什么是Prompt
  - L2.2.2 Prompt框架应用现状
  - L2.2.3 基于GPTAS的Prompt框架
  - L2.2.4 Prompt框架与Thought
  - L2.2.5 Prompt框架与提示词
- L2.3 流水线工程
  - L2.3.1 流水线工程的概念
  - L2.3.2 流水线工程的优点
  - L2.3.3 流水线工程的应用
- L2.4 总结与展望

阶段3：AI大模型应用架构实践

目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
内容：
- L3.1 Agent模型框架
  - L3.1.1 Agent模型框架的设计理念
  - L3.1.2 Agent模型框架的核心组件
  - L3.1.3 Agent模型框架的实现细节
- L3.2 MetaGPT
  - L3.2.1 MetaGPT的基本概念
  - L3.2.2 MetaGPT的工作原理
  - L3.2.3 MetaGPT的应用场景
- L3.3 ChatGLM
  - L3.3.1 ChatGLM的特点
  - L3.3.2 ChatGLM的开发环境
  - L3.3.3 ChatGLM的使用示例
- L3.4 LLAMA
  - L3.4.1 LLAMA的特点
  - L3.4.2 LLAMA的开发环境
  - L3.4.3 LLAMA的使用示例
- L3.5 其他大模型介绍