聊聊普通工程师如何入坑大模型 | 附超详细教程！

程序员笑武

已于 2024-05-06 19:37:54 修改

阅读量756

点赞数 21

文章标签： langchain 人工智能 chatgpt AIGC AI技术

于 2024-04-23 10:24:39 首次发布

本文链接：https://blog.csdn.net/m0_59164304/article/details/138111236

版权

前几天，跟强哥一起吃饭。他说，大模型的技术，真是太好玩了！他买了一台超高配置的游戏本，本来是想买回来打游戏放松放松的。结果后来发现，玩大模型的技术，比打游戏好玩太多了！我连连表示赞同，不错不错，关键是游戏本没白买啊，跑大模型正好也用得上（强哥是谁？不重要，你只需要知道是一位登上人生巅峰的技术大佬就好了）

认真地说，以大语言模型 (LLM) 为核心的AI技术，正在如火如荼地席卷整个行业。技术的发展日新月异，几乎每天都有突破性的进展。现在这种状态，让我们俨然回到了十年之前移动互联网刚刚兴起的那个年代。而且马化腾都说了，AI可不是互联网十年不遇的机会那么简单，这是几百年不遇的机遇。

作为工程师，我们能对这一势不可挡的新技术坐视不理吗？试想一下未来，我们面对的系统，背后都有一个AI位于核心的位置。以前我们为系统定义接口，系统能够提供的能力也由我们来设计；而在未来，核心系统的接口只有一个，那就是自然语言，而且它的能力是自己学来的。我们工程系统要围绕这个AI核心来搭建，工程师也需要比其他人更懂得怎样与AI交流（借助prompt工程）。

然而，从零入门大模型技术，其实还是有点门槛的。比如，没有大的内存和高性能的GPU卡，很难玩得转。大家应该都听说了，Meta发布的Llama 2系列模型（包括7B、13B、70B），预训练过程总共花费了3311616个GPU小时数。除此之外，令人眼花缭乱的各种新技术和工具，让人不知道从何入手。因此，最近我们团队的小伙伴们推出了一个“大模型入门系列教程”，针对没有大模型相关经验的同学，一步一步地接近这门技术。

现在就隆重向大家推荐这个教程，让你在自己的家用笔记本上也能体验和学习这门技术。下面的教程非常细致，你可以根据提示一步步来进行，也可以直接下载我们在github上的example。地址如下，可以先star🌟一下，后面会逐步更新更多样例代码:

https://github.com/PharMolix/OpenBioMed

说到这里，不得不介绍一下这个GitHub repo：这是我们团队开源的全球首个可商用多模态生物医药百亿参数大模型BioMedGPT-10B，该模型具有在生物医药专业领域比肩人类专家水平的文本生成能力，在自然语言、分子、蛋白质跨模态问答任务上达到SOTA。同时，这个repo里还开源了全球首个免费可商用、生物医药专用Llama 2大语言模型BioMedGPT-LM-7B（下面的入门教程就是以这个7B模型为例展开的）。

下面的教程会分为两部分，分别介绍如何在MacBook和Windows笔记本上从头开始run起我们的BioMedGPT模型（当然，里面用到的技术也同样适用于对其他大模型进行操作）。之所以从如何run起大模型开始讲起，是因为这是接触大模型技术的第一步。包括如何从零配置隔离的运行环境，如何从HuggingFace上下载模型、加载模型，以及生成文本（执行推理）。对于有python开发经验的伙伴们，可以选择性阅读。

教程for MacBook

Mac配置
以所使用的MacBook Pro (13-inch, M1, 2020)为例

芯片：Apple M1

内存：16 GB

核总数：8（4性能和4能效）

系统：macOS Monterey，12.6.2

CPU架构：Arm64

Mac环境搭建
conda环境

Anaconda是管理Python环境的强大工具,通过其可以创建、管理多个相互独立、隔离的Python环境，并在环境中安装、管理Python依赖。我们可以使用其免费、最小可用版本MiniConda。

可以在Miniconda ‒ conda documentation找到对应的下载链接和安装方式。

在这里插入图片描述
python环境

安装好miniconda以后，我们就可以创建一个Python环境,我们在这里创建了一个名为biomedgpt的python环境，并通过conda activate激活该环境。

conda create -n biomedgpt python=3.10
conda activate biomedgpt

为了运行BioMedGPT-LM-7B，我们需要安装pytorch和transformers。

安装pytorch

Mac上安装pytorch可以在pytorch官网上找到对应的命令。我们只需要按照下图所示选择对应的版本，然后使用官方给出的安装命令即可。

pip install torch torchvision torchaudio

在这里插入图片描述
安装transformers

Huggingface提供数以千计针对于各种任务的预训练模型，这些模型被广泛的应用于学术研究当中，transformers是Huggingface开源的一个NLP工具，方便使用者调用这些模型（包括训练、推理、量化等）。

在这里插入图片描述
开发者可以根据自身的需要，选择适合自己的模型进行训练或微调，也可阅读api文档和源码，快速开发新模型。我们可以通过pip或者conda直接安装transformers。

pip install transformers

如果pip安装很慢，可以指定清华或者阿里等国内镜像源，下面以清华源为例

pip install transformers -i https://pypi.tuna.tsinghua.edu.cn/simple

模型下载

BioMedGPT-LM-7B开源在PharMolix/BioMedGPT-LM-7B。

在这里插入图片描述

可以通过transformers的AutoModelF

import transformers
model =  AutoModelForCausalLM.from_pretrained("PharMolix/BioMedGPT-LM-7B")orCausalLM.from_pretrained自动下载需要的模型和tokenizer。

但这种方式速度慢，且经常中断，因此我们也介绍了其他几种下载方式。

方式一：通过git下载

如果你的电脑上还没有安装git，首先安装git。

brew install git

由于模型文件很大，还需要安装Git Large File Storage。

brew install git-lfs

然后可以通过git clone的方式下载。

在这里插入图片描述
直接在终端执行

git clone https://huggingface.co/PharMolix/BioMedGPT-LM-7B

即可将仓库中所有文件下载到本地。

方式二：直接通过文件链接下载

我们可以进入到PharMolix/BioMedGPT-LM-7B的文件页面。点击文件的下载箭头，就可以直接把文件下载到本地。

在这里插入图片描述
需要下载的文件如下，包含了模型和tokenizer所必需的文件。

pytorch_model-00001-of-00003.bin
 pytorch_model-00002-of-00003.bin
 pytorch_model-00003-of-00003.bin
 pytorch_model.bin.index.json
 special_tokens_map.json
 config.json
 generation_config.json
 tokenizer.json
 tokenizer.model
 tokenizer_config.json

方式三：通过huggingface官方提供的模型的下载工具snapshot_download进行下载。

from huggingface_hub import snapshot_download
snapshot_download(repo_id="PharMolix/BioMedGPT-LM-7B")

snapshot_download提供了很多参数，比如你可以通过allow_patterns参数来决定你要下载的文件，resume_download设置为True则可以继续上次中断的下载。更多参数细节请参考官方文档。

from huggingface_hub import snapshot_download
# 只下载json文件
snapshot_download(repo_id="PharMolix/BioMedGPT-LM-7B", 
                  allow_patterns="*.json",
                  resume_download=True)

模型加载

现在，我们已经准备好了环境和相应的文件，也已经启动了一个jupyter notebook用来编写代码。BioMedGPT-LM-7B是基于meta-llama/Llama-2-7b，在生物医药语料上增量训练得到的，模型的加载方式和llama2-7B模型的加载方式一致。我们可以直接通过transformers进行模型的加载。也可以直接print(model)把模型结构打印出来，具体的模型细节可以查看llama2官网和技术报告。

在这里插入图片描述
transformers.AutoModelForCausalLM的from_pretrained函数可以从huggingface仓库直接下载模型也可以加载本地下载好的模型。model_path是你存放模型和tokenizer文件的路径。运行上面的代码，我们就成功的在mac笔记本上加载了BioMedGPT-LM-7B模型，我们可以直接打印模型，查看模型的具体信息。如果提示内存不足，建议先关掉其他不需要的进程。

Tokenizer加载

如下图所示（来源于huggingface官方文档），文本在传入到模型到输出结果，需要经过三个步骤。Tokenizer把输入的文本切分成一个一个的token，然后将token转变成向量，Model负责根据输入的变量提取语义信息，输出logits；最后Post Processing根据模型输出的语义信息，执行具体的nlp任务，比如情感分析，文本分类等。接着我们要加载模型对应的tokenizer，tokenizer相关文件和模型文件都在BioMedGPT-LM-7B/文件夹下。其中，tokenizer.json存放了tokenizer的词表，tokenizer_config.json里有tokenizer的相关参数，tokenizer.model则存放着模型参数。

在这里插入图片描述

使用tokenizer处理输入的文本得到模型需要的向量表示。

在这里插入图片描述
input_ids就是每个token对应的词表id，把其作为模型的输入，得到输出的token id，然后通过tokenizer的decoder方法将output解码成文字。

在这里插入图片描述
至此，我们成功地在笔记本上加载了7B的大模型，并用来生成了一段文字。注意，由于本教程在笔记本上使用CPU执行，而7B的模型有70亿参数之多，model.generate这步模型推理过程非常耗时，需要耐心等待结果输出（可能需要执行2个小时）。

因此，下一篇文章，我们将会和大家一起讨论如何在使用模型的过程中进行加速，包括对模型进行量化和使用GPU。后面我们也会介绍更多的内容给大家，包括如何使用BioMedGPT-LM-7B构建一个医药助手。敬请期待~

教程 for Windows 笔记本

环境搭建

conda环境 (可选)

conda提供了两个核心能力：一个是做环境隔离，一个是管理你的安装包。强烈推荐配置conda环境，它可以为你创建一个虚拟环境，最大限度地避免各种环境冲突。

访问 https://docs.conda.io/en/latest/miniconda.html 下载Miniconda：

在这里插入图片描述

如下图，启动conda命令界面：

在这里插入图片描述

上面截图中的信息表示，初始的时候，conda info --envs命令显示，系统中只有一个名叫“base”的虚拟环境。而在执行了 conda create --name BioMedGPT-env 命令之后，系统中就创建出来一个名叫“BioMedGPT-env”的虚拟环境。下面我们安装所需要的软件包，都会安装到这个虚拟环境下。

然后使用

 conda activate BioMedGPT-env

命令激活这个新的虚拟环境。

在这里插入图片描述
安装python。这一步比较关键，它会确保你的python运行环境从零开始创建，不会受电脑上已经存在的其他python包的影响。

在这里插入图片描述
python环境

下面安装一系列需要的python包。本教程为了简单，只需要安装4个python包：torch、transformers、xformers、accelerate。下面执行 pip install 命令进行安装。为了加快从网上下载安装包的速度，用“-i”命令选项指定一下清华的安装镜像地址。

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torch transformers xformers accelerate

在这里插入图片描述
模型下载和加载

我们使用Hugging Face提供的transformers框架来加载模型以及必需的其它配置。

我们执行以下代码。为了适当暴露加载模型的一些细节，达到教学目的，我们特意单独加载模型和tokenizer，然后采用一个pipeline来把它们串起来（细节见下面的分步骤讲解）。

from transformers import pipeline
from transformers import AutoTokenizer
from transformers import LlamaForCausalLM
import torch

model = LlamaForCausalLM.from_pretrained("PharMolix/BioMedGPT-LM-7B", low_cpu_mem_usage=True)
tokenizer = AutoTokenizer.from_pretrained("PharMolix/BioMedGPT-LM-7B")
pipe = pipeline(task = "text-generation", model = model, tokenizer = tokenizer)

在这里插入图片描述
因此，我们需要加载两个核心的对象，一个是模型，一个是tokenizer。在上面代码中，model变量存储了模型本身。而tokenizer的作用是对于模型输入的自然语言文本做预处理（preprocessing）。由于计算机只能对数字进行处理（语言模型也不例外），而我们的输入是自然语言，因此需要一个tokenizer来把文本转成计算机能够处理的数字（最终转成向量的形式，喂给模型）。

另外，上面代码中的"PharMolix/BioMedGPT-LM-7B"，是我们的模型发布在Hugging Face平台上的model ID，见下图：

在这里插入图片描述
【注意】我们使用 LlamaForCausalLM.from_pretrained() 来初次加载模型的时候，它会先从Hugging Face的模型库中下载模型文件，然后再加载到内存。由于模型通常比较大，至少十几个GB甚至几十个GB，因此这个下载过程可能会花费比较长的时间（取决于网络情况）。如果中途下载失败，需要重新执行多试几次。

如果下载过程实在不顺利，也可以尝试手动下载方式。可以参考前面MacBook教程里面的“模型下载”的三种方式，选用适合自己的方式。过程是一样的，这里就不赘述了。

在这里插入图片描述
模型加载成功，可以将模型打印出来看一下：

在这里插入图片描述

加载并打印tokenizer：

在这里插入图片描述
下面是tokenizer的一个例子：

在这里插入图片描述
另外，前面代码的最后一行，使用pipeline将tokenizer和model串起来。得到的pipeline实例，就可以用于后续的推理（文本生成）

执行推理

好了，至此，我们终于可以调用模型来生成文本了。我们调用前面的pipe，向模型输入一个问句：“How to disign a drug?” (翻译：如何设计一款药物？)

pipe("how to design a drug?", max_new_tokens = 128)

【注意】我们这里又到了一个比较耗时的执行环节。由于本教程在笔记本上使用CPU执行，而7B的模型有70亿参数之多。模型推理过程非常耗时，需要耐心等待结果输出（可能需要执行2个小时）。

在这里插入图片描述
至此，我们成功地在笔记本上加载了7B的大模型，并用来生成了一段文字。下一篇文章，我们将会和大家一起讨论如何在使用模型的过程中进行加速，包括对模型进行量化和使用GPU。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

大模型 AI 能干什么？
大模型是怎样获得「智能」的？
用好 AI 的核心心法
大模型应用业务架构
大模型应用技术架构
代码示例：向 GPT-3.5 灌入新知识
提示工程的意义和核心思想
Prompt 典型构成
指令调优方法论
思维链和思维树
Prompt 攻击和防范
…

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

为什么要做 RAG
搭建一个简单的 ChatPDF
检索的基础概念
什么是向量表示（Embeddings）
向量数据库与向量检索
基于向量检索的 RAG
搭建 RAG 系统的扩展知识
混合检索与 RAG-Fusion 简介
向量模型本地部署
…

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

为什么要做 RAG
什么是模型
什么是模型训练
求解器 & 损失函数简介
小实验2：手写一个简单的神经网络并训练它
什么是训练/预训练/微调/轻量化微调
Transformer结构简介
轻量化微调
实验数据集的构建
…

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

硬件选型
带你了解全球大模型
使用国产大模型服务
搭建 OpenAI 代理
热身：基于阿里云 PAI 部署 Stable Diffusion
在本地计算机运行大模型
大模型的私有化部署
基于 vLLM 部署大模型
案例：如何优雅地在阿里云私有部署开源大模型
部署一套开源 LLM 项目
内容安全
互联网信息服务算法备案
…

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【`保证100%免费`】

在这里插入图片描述

程序员笑武

关注

21
点赞
踩
25

收藏

觉得还不错? 一键收藏
0
评论
聊聊普通工程师如何入坑大模型 | 附超详细教程！

前几天，跟强哥一起吃饭。他说，大模型的技术，真是太好玩了！他买了一台超高配置的游戏本，本来是想买回来打游戏放松放松的。结果后来发现，玩大模型的技术，比打游戏好玩太多了！我连连表示赞同，不错不错，关键是游戏本没白买啊，跑大模型正好也用得上（强哥是谁？不重要，你只需要知道是一位登上人生巅峰的技术大佬就好了）认真地说，以大语言模型 (LLM) 为核心的AI技术，正在如火如荼地席卷整个行业。技术的发展日新月异，几乎每天都有突破性的进展。现在这种状态，让我们俨然回到了十年之前移动互联网刚刚兴起的那个年代。
复制链接

扫一扫