大模型入门指南和教程

AI领航者

于 2024-07-17 16:47:50 发布

阅读量863

点赞数 16

文章标签：人工智能 ai

本文链接：https://blog.csdn.net/2401_85324918/article/details/140499267

版权

随着 ChatGPT 的到来，大模型[1]（Large Language Model，简称 LLM）成了新时代的 buzzword，各种 GPT 产品百花齐放。

大多数人直接用现有产品就可以了，但对于喜欢刨根问底的程序员来说，能够在本地运行会更有意思。但由于没有相关背景，笔者一开始在接触时，很多 GitHub 上的搭建教程看得是云里雾里，而且这方面的介绍文章要不就是太晦涩难懂，要不就是太大众小白，于是就有了这篇文章，主要介绍笔者在搭建大模型过程中学到的知识，以及如何在 macOS 上运行大模型。

什么是大模型

通俗来讲，大模型就是输入大量语料，来让计算机获得类似人类的“思考”能力，使之能够理解自然语言，能够进行『文本生成』、『推理问答』、『对话』、『文档摘要』等工作。

既然是学习，那我们就可以用『上学参加工作』这件事来类比大模型的训练、使用过程：

找学校 :: 训练 LLM 需要大量的计算，因此 GPU 更合适，因此只有购买得起大量 GPU 的贵族学校才有资本训练自己的大模型
确定教材 :: 大模型顾名思义就是大，需要的数据量特别多，几千亿序列（Token）的输入基本是标配
找老师 :: 即用什么样的算法讲述“书本”中的内容，让大模型能够更好理解 Token 之间的关系
就业指导 :: 学完书本中的知识后，为了让大模型能够更好胜任某一行业，需要进行微调（fine tuning）指导
搬砖 :: 就业指导完成后，下面就要正式干活了，比如进行一次翻译、问答等，在大模型里称之为推导（infer）

在 LLM 中，Token[2] 被视为模型处理和生成的文本单位。它们可以代表单个字符、单词、子单词，甚至更大的语言单位，具体取决于所使用的分词方法（Tokenization）。 Token 是原始文本数据与 LLM 可以使用的数字表示之间的桥梁。在将输入进行分词时，会对其进行数字化，形成一个词汇表（Vocabulary），比如：The cat sat on the mat，会被分割成 “The”、“cat”、“sat” 等的同时，会生成下面的词汇表：

Token	ID
The	345
cat	1256
sat	1726
…	…

数字化的好处是便于计算机处理。但为了让计算机理解 Token 之间的联系，还需要把 Token 表示成稠密矩阵向量，这个过程称之为 embedding[3]，常见的算法有：

基于统计
Word2Vec，通过上下文统计信息学习词向量
GloVe，基于词共现统计信息学习词向量
基于深度网络
CNN，使用卷积网络获得图像或文本向量
RNN/LSTM，利用序列模型获得文本向量
基于神经网络
BERT，基于 Transformer 和掩码语言建模（Masked LM）进行词向量预训练
Doc2Vec，使用神经网络获得文本序列的向量

以 Transform 为代表的大模型采用自注意力（Self-attention）机制来学习不同 token 之间的依赖关系，生成高质量 embedding。

大模型的“大”，指的是用于表达 token 之间关系的参数多，主要是指模型中的权重（weight）与偏置（bias），例如 GPT-3 拥有 1750 亿参数，其中权重数量达到了这一量级，而词汇表 token 数只有 5 万左右。参考：

[How does an LLM “parameter” relate to a “weight” in a neural network?](https://datascience.stackexchange.com/questions/120764/how-does-an-llm-parameter-relate-to-a-weight-in-a-neural-network “How does an LLM “parameter” relate to a “weight” in a neural network?”)

发展历程

这一切的起源是 2017 年发布的 Attention Is All You Need[4] 论文，之后基于大量语料的预训练模型百花齐放，比如：

BERT(Bidirectional Encoder Representations from Transformers): Google 在 2018 年提出，创新性的双向预训练并行获取上下文语义信息，以及掩码语言建模（MLM）让模型更好地推断语义信息。它开创了预训练语言表示范式，对自然语言处理产生了深远影响。参数规模：110M 到 340M
GPT(Generative Pre-trained Transformer): OpenAI 在 2018 年提出，开创了仅使用自回归语言建模作为预训练目标而无需额外监督信号。它展示了通过无监督大规模预训练获得的语言生成能力,对研究与应用都带来重大影响。参数规模：1750 亿
Large LAnguage Model Approach（LLAMA）: Meta 在 2021 年提出，首个开源模型。为构建更大规模、更通用的语言模型提供了系统化的方法与工具。参数规模：十亿到千亿

模型部署

在 LLM 中，Token 是输入的基本单元由于在大模型的参数非常多，比如在 GPT-2 中，有 1.5B 参数，每个参数用 float32 表示，那么需要的内存大小为 4 bytes * 1,500,000,000 = 6GB ，更先进的模型如 LLAMA 有 65B 参数，那么需要的内存就需要 260G，这还是在不考虑词汇表的情况下。因此在进行模型实际部署时，会进行模型的压缩。

而且，在训练 LLM 中，CPU 与内存之间的传输速度往往是系统的瓶颈，核心数反而不是大问题，因此减小内存使用是首要优化点。使用内存占用更小的数据类型是一种直接的方式，比如 16 位的浮点数就可以直接将内存使用减倍。目前有几种相互竞争的 16 位标准，但英伟达在其最新一代硬件中引入了对 bfloat16 的支持，

Format	Significand	Exponent
bfloat16	8 bits	8 bits
float16	11 bits	5 bits
float32	24 bits	8 bits

量化 Quantization

将 16 位降至 8 位或 4 位是可能的，但不能使用硬件加速浮点运算。如果我们想对更小的类型进行硬件加速，就需要使用小整数和矢量化指令集。

这就是量化的过程。量化技术可以应用到现有的 32 位浮点运算模型中，通过将权值转换为较小的整数，这些整数的运算可以使用硬件加速指令集，如英特尔的 AVX。

量化模型的简单方法是，首先找出权重的最大值和最小值，然后将数值范围划分为整数类型中可用的桶数，8 位为 256 桶，4 位为 16 桶。这就是所谓的训练后量化（post-training quantization），也是量化模型的最简单方法。现在市面上主要有两类量化方法：

GPTQ[5] (Accurate Post-Training Quantization for Generative Pre-trained Transformers): 主要针对英伟达的 GPU
GGML (Large Language Models for Everyone): 侧重于 CPU 优化的量化方法，主要针对苹果 M1 和 M2 芯片做优化

社区用户 TheBloke[6] 把 Huggingface Transformers 库中的大多数 LLM 应用这些量化方法，这无疑极大方便了用户的使用。

动手实验

由于笔者实用的 macOS 系统，因此采用 GGML 量化后的模型，官方开源出来的模型大都以 Python 为主，效率可想而知，因此笔者一般会采用社区内的其他实现，比较有名的项目有：

ggerganov/llama.cpp: Port of Facebook’s LLaMA model in C/C++[7]
ggerganov/whisper.cpp: Port of OpenAI’s Whisper model in C/C++[8]

LLama

首先是编译，为了利用 Metal 的 GPU，可以用如下命令编译：

LLAMA_METAL=1 make

之后需要去 Llama-2-7B-Chat-GGML[9] 中下载模型，3G 到 7G 不等，读者可以按需尝试即可。

./main -m ~/Downloads/llama-2-7b-chat.ggmlv3.q4_1.bin \  
       -p "Building a website can be done in 10 simple steps:" -n 512 -ngl 10

得到输出

 Building a website can be done in 10 simple steps:  
  
 planning, domain name registration, hosting choice, selecting a CMS or building from scratch, developing the site content, designing the user interface, coding and debugging, testing for usability, and launching it.  
  
 Planning involves setting goals and objectives for your website, identifying your target audience, and determining its purpose.  
  
 Domain name registration is choosing a unique web address that reflects your brand or business identity.  
  
 Choosing the right hosting service ensures that your website loads quickly and efficiently. Popular choices include Bluehost, SiteGround, and  
 HostGator.  
  
 Selecting a Content Management System (CMS) or building one from scratch allows you to easily manage and update content without needing technical knowledge. Options include WordPress, Joomla, and Drupal.  
  
 Developing website content involves creating text, images, videos, and other media that convey your message and provide value to users.  
  
 Designing the user interface (UI) focuses on visual aspects of your site such as layout, color scheme, typography, and navigation.  
  
 Coding ensures your site functions correctly by writing clean HTML, CSS, and JavaScript code. Debugging involves identifying and fixing any errors or bugs that arise during testing.  
  
 Testing for usability means checking how easy it is for users to navigate through your site and find the information they need.  
Launching involves making your website live for all visitors to access, and promoting it through marketing channels such as social media and search engines. [end of text]  
  
llama_print_timings:        load time =  1267.46 ms  
llama_print_timings:      sample time =   204.14 ms /   313 runs   (    0.65 ms per token,  1533.23 tokens per second)  
llama_print_timings: prompt eval time =   397.22 ms /    14 tokens (   28.37 ms per token,    35.25 tokens per second)  
llama_print_timings:        eval time =  9504.40 ms /   312 runs   (   30.46 ms per token,    32.83 tokens per second)  
llama_print_timings:       total time = 10132.02 ms  
ggml_metal_free: deallocating

此外，llama.cpp 还提供了 WebUI 供用户使用，首先启动 server：

./server -m ~/Downloads/llama-2-7b-chat.ggmlv3.q4_1.bin -ngl 512

它默认监听 8080 端口，打开浏览器就可以对话了

请添加图片描述

‍

Whisper

和 llama 类似，采用 make 命令编译，之后去 ggerganov/whisper.cpp[10] 下载量化好的模型，然后转换音频即可，目前只接受 wav 格式，可以用 ffmpeg 转化

ffmpeg -loglevel -0 -y -i "$INPUT" -ar 16000 -ac 1 -c:a pcm_s16le "${INPUT}.wav"  
  
./main -m models/ggml-small.bin -f "$INPUT" \  
        -osrt -t 8 -p 4

输出的 srt 文件如下所示：

1  
00:00:00,000 --> 00:00:05,520  
 Hello everyone and welcome to another episode of the Form 3 TET podcast.  
  
2  
00:00:05,520 --> 00:00:08,800  
 My name is Kevin Holtich, head of Pat from Engineering at Form 3.  
  
3  
00:00:08,800 --> 00:00:12,560  
 Today I'm really excited that I've been joined by Torsten Ball.  
  
4  
00:00:12,560 --> 00:00:13,920  
 How's it going, State Torsten?

Size	Parameters	English-only model	Multilingual model	Required VRAM	Relative speed
tiny	39 M	tiny.en	tiny	~1 GB	~32x
base	74 M	base.en	base	~1 GB	~16x
small	244 M	small.en	small	~2 GB	~6x
medium	769 M	medium.en	medium	~5 GB	~2x
large	1550 M	N/A	large	~10 GB	1x

一般来说，英文的音频 small 模型就有够了，但是如果是中文，最好用最大的模型。

免费的 LLM 产品

尽管 ChatGPT 是收费的，而且还不面向中国，但现在市面上有非常多的其他选择，比如 Google 的 Bard[11]，下图给出了一些常用服务，读者都可以去体验试试：

在这里插入图片描述

单就写代码这个垂直领域来看，GitHub 的 Copilot[12] 无疑是老大哥，但它并非免费，下面有几个替代品：

Tabnine[13]: AI assistant that speeds up delivery and keeps your code safe
Codeium[14]: Free AI Code Completion & Chat
Amazon CodeWhisperer[15]: Build applications faster and more securely with your AI coding companion
SourceGraph Cody[16]: The AI that knows your entire codebase
Tabby[17]: Opensource, self-hosted AI coding assitant
fauxpilot/fauxpilot[18]: An open-source alternative to GitHub Copilot server

总结

说来可笑，ChatGPT 的开发者 OpenAI 并不像其名字那样开放，ChatGPT 的源码与模型数据是不对外开放的，但不久， Meta 在 2023 年 2 月份开源了 LLaMA 1[19]，并在 7 月接着发布了进阶的 Llama 2[20]，而且允许商用。 Meta 此举无疑极大推进的大模型的发展，坊间甚至一度流传这么一篇文章：[Google “We Have No Moat, And Neither Does OpenAI”](https://www.semianalysis.com/p/google-we-have-no-moat-and-neither “Google “We Have No Moat, And Neither Does OpenAI””)，说 Meta 才是大模型时代的最大赢家， OpenAI、Google 都要靠边站。

大模型时代到来了，你的工作离被取代还远吗？

参考

Announcing GPTQ & GGML Quantized LLM support for Huggingface Transformers – PostgresML[21]
Beginner’s guide to Llama models[22]
Demystifying Tokens in LLMs: Understanding the Building Blocks of Large Language Models 🧱🔍[23]
给人工智能“大模型”当保姆，都要操哪些心？
Awesome-LLM: a curated list of Large Language Model[24]
搞懂语言大模型（番外）：40+应用案例精选[25]

参考资料

[1]

大模型: https://en.wikipedia.org/wiki/Large_language_model

[2]

Token: https://learn.microsoft.com/en-us/semantic-kernel/prompt-engineering/tokens

[3]

embedding: https://learn.microsoft.com/en-us/semantic-kernel/memories/embeddings

[4]

Attention Is All You Need: https://arxiv.org/abs/1706.03762

[5]

GPTQ: https://arxiv.org/abs/2210.17323

[6]

TheBloke: https://huggingface.co/TheBloke

[7]

ggerganov/llama.cpp: Port of Facebook’s LLaMA model in C/C++: https://github.com/ggerganov/llama.cpp

[8]

ggerganov/whisper.cpp: Port of OpenAI’s Whisper model in C/C++: https://github.com/ggerganov/whisper.cpp

[9]

Llama-2-7B-Chat-GGML: https://huggingface.co/TheBloke/Llama-2-7B-Chat-GGML

[10]

ggerganov/whisper.cpp: https://huggingface.co/ggerganov/whisper.cpp/tree/main

[11]

Bard: https://bard.google.com/

[12]

Copilot: https://github.com/features/copilot

[13]

Tabnine: https://www.tabnine.com/

[14]

Codeium: https://codeium.com/

[15]

Amazon CodeWhisperer: https://aws.amazon.com/codewhisperer/

[16]

SourceGraph Cody: https://about.sourcegraph.com/cody

[17]

Tabby: https://tabbyml.github.io/tabby/

[18]

fauxpilot/fauxpilot: https://github.com/fauxpilot/fauxpilot

[19]

LLaMA 1: https://ai.meta.com/blog/large-language-model-llama-meta-ai/

[20]

Llama 2: https://ai.meta.com/blog/llama-2/

[21]

Announcing GPTQ & GGML Quantized LLM support for Huggingface Transformers – PostgresML: https://postgresml.org/blog/announcing-gptq-and-ggml-quantized-llm-support-for-huggingface-transformers

[22]

Beginner’s guide to Llama models: https://agi-sphere.com/llama-guide/

[23]

Demystifying Tokens in LLMs: Understanding the Building Blocks of Large Language Models 🧱🔍: https://www.linkedin.com/pulse/demystifying-tokens-llms-understanding-building-blocks-lukas-selin/

[24]

Awesome-LLM: a curated list of Large Language Model: https://github.com/Hannibal046/Awesome-LLM

[25]

搞懂语言大模型（番外）：40+应用案例精选: https://sspai.com/post/80071

如何学习大模型 AI ？

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。
这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

大模型 AI 能干什么？
大模型是怎样获得「智能」的？
用好 AI 的核心心法
大模型应用业务架构
大模型应用技术架构
代码示例：向 GPT-3.5 灌入新知识
提示工程的意义和核心思想
Prompt 典型构成
指令调优方法论
思维链和思维树
Prompt 攻击和防范
…

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

为什么要做 RAG
搭建一个简单的 ChatPDF
检索的基础概念
什么是向量表示（Embeddings）
向量数据库与向量检索
基于向量检索的 RAG
搭建 RAG 系统的扩展知识
混合检索与 RAG-Fusion 简介
向量模型本地部署
…

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

为什么要做 RAG
什么是模型
什么是模型训练
求解器 & 损失函数简介
小实验2：手写一个简单的神经网络并训练它
什么是训练/预训练/微调/轻量化微调
Transformer结构简介
轻量化微调
实验数据集的构建
…

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

硬件选型
带你了解全球大模型
使用国产大模型服务
搭建 OpenAI 代理
热身：基于阿里云 PAI 部署 Stable Diffusion
在本地计算机运行大模型
大模型的私有化部署
基于 vLLM 部署大模型
案例：如何优雅地在阿里云私有部署开源大模型
部署一套开源 LLM 项目
内容安全
互联网信息服务算法备案
…

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【`保证100%免费`】

请添加图片描述

AI领航者

关注

16
点赞
踩
24

收藏

觉得还不错? 一键收藏
0
评论
大模型入门指南和教程

通俗来讲，大模型就是输入大量语料，来让计算机获得类似人类的“思考”能力，使之能够理解自然语言，能够进行『文本生成』、『推理问答』、『对话』、『文档摘要』等工作。既然是学习，那我们就可以用『上学参加工作』这件事来类比大模型的训练、使用过程：找学校 :: 训练 LLM 需要大量的计算，因此 GPU 更合适，因此只有购买得起大量 GPU 的贵族学校才有资本训练自己的大模型确定教材 :: 大模型顾名思义就是大，需要的数据量特别多，几千亿序列（Token）的输入基本是标配。
复制链接

扫一扫