聊聊普通工程师如何入坑大模型 | 附超详细教程！

关注我的公众号的小伙伴们可能发现了，我已经很久很久没有腾出时间来发文了。为啥会忙成这样呢？因为我整天都在忙着钻研大模型^-

前几天，跟强哥一起吃饭。他说，大模型的技术，真是太好玩了！他买了一台超高配置的游戏本，本来是想买回来打游戏放松放松的。结果后来发现，玩大模型的技术，比打游戏好玩太多了！我连连表示赞同，不错不错，关键是游戏本没白买啊，跑大模型正好也用得上😀（强哥是谁？不重要，你只需要知道是一位登上人生巅峰的技术大佬就好了）

认真地说，以大语言模型 (LLM) 为核心的AI技术，正在如火如荼地席卷整个行业。技术的发展日新月异，几乎每天都有突破性的进展。现在这种状态，让我们俨然回到了十年之前移动互联网刚刚兴起的那个年代。而且马化腾都说了，AI可不是互联网十年不遇的机会那么简单，这是几百年不遇的机遇。

作为工程师，我们能对这一势不可挡的新技术坐视不理吗？试想一下未来，我们面对的系统，背后都有一个AI位于核心的位置。以前我们为系统定义接口，系统能够提供的能力也由我们来设计；而在未来，核心系统的接口只有一个，那就是自然语言，而且它的能力是自己学来的。我们工程系统要围绕这个AI核心来搭建，工程师也需要比其他人更懂得怎样与AI交流（借助prompt工程）。

然而，从零入门大模型技术，其实还是有点门槛的。比如，没有大的内存和高性能的GPU卡，很难玩得转。大家应该都听说了，Meta发布的Llama 2系列模型（包括7B、13B、70B），预训练过程总共花费了3311616个GPU小时数。除此之外，令人眼花缭乱的各种新技术和工具，让人不知道从何入手。因此，最近我们团队的小伙伴们推出了一个“大模型入门系列教程”，针对没有大模型相关经验的同学，一步一步地接近这门技术。

现在就隆重向大家推荐这个教程，让你在自己的家用笔记本上也能体验和学习这门技术。下面的教程非常细致，你可以根据提示一步步来进行，也可以直接下载我们在github上的example。地址如下，可以先star🌟一下，后面会逐步更新更多样例代码:

https://github.com/PharMolix/OpenBioMed

说到这里，不得不介绍一下这个GitHub repo：这是我们团队开源的全球首个可商用多模态生物医药百亿参数大模型BioMedGPT-10B，该模型具有在生物医药专业领域比肩人类专家水平的文本生成能力，在自然语言、分子、蛋白质跨模态问答任务上达到SOTA。同时，这个repo里还开源了全球首个免费可商用、生物医药专用Llama 2大语言模型BioMedGPT-LM-7B（下面的入门教程就是以这个7B模型为例展开的）。

下面的教程会分为两部分，分别介绍如何在MacBook和Windows笔记本上从头开始run起我们的BioMedGPT模型（当然，里面用到的技术也同样适用于对其他大模型进行操作）。之所以从如何run起大模型开始讲起，是因为这是接触大模型技术的第一步。包括如何从零配置隔离的运行环境，如何从HuggingFace上下载模型、加载模型，以及生成文本（执行推理）。对于有python开发经验的伙伴们，可以选择性阅读。

---

教程for MacBook

Mac配置

以所使用的MacBook Pro (13-inch, M1, 2020)为例

芯片：Apple M1

内存：16 GB

核总数：8（4性能和4能效）

系统：macOS Monterey，12.6.2

CPU架构：Arm64

Mac环境搭建

conda环境

Anaconda是管理Python环境的强大工具,通过其可以创建、管理多个相互独立、隔离的Python环境，并在环境中安装、管理Python依赖。我们可以使用其免费、最小可用版本MiniConda。

可以在Miniconda ‒ conda documentation找到对应的下载链接和安装方式。

python环境

安装好miniconda以后，我们就可以创建一个Python环境,我们在这里创建了一个名为biomedgpt的python环境，并通过conda activate激活该环境。

conda create -n biomedgpt python=3.10``conda activate biomedgpt

为了运行BioMedGPT-LM-7B，我们需要安装pytorch和transformers。

安装pytorch

Mac上安装pytorch可以在pytorch官网上找到对应的命令。我们只需要按照下图所示选择对应的版本，然后使用官方给出的安装命令即可。

pip install torch torchvision torchaudio

安装transformers

Huggingface提供数以千计针对于各种任务的预训练模型，这些模型被广泛的应用于学术研究当中，transformers是Huggingface开源的一个NLP工具，方便使用者调用这些模型（包括训练、推理、量化等）。

开发者可以根据自身的需要，选择适合自己的模型进行训练或微调，也可阅读api文档和源码，快速开发新模型。我们可以通过pip或者conda直接安装transformers。

pip install transformers

如果pip安装很慢，可以指定清华或者阿里等国内镜像源，下面以清华源为例

pip install transformers -i https://pypi.tuna.tsinghua.edu.cn/simple

**模型下载**

BioMedGPT-LM-7B开源在PharMolix/BioMedGPT-LM-7B。

可以通过transformers的AutoModelForCausalLM.from_pretrained自动下载需要的模型和tokenizer。

import transformers``model =  AutoModelForCausalLM.from_pretrained("PharMolix/BioMedGPT-LM-7B")

但这种方式速度慢，且经常中断，因此我们也介绍了其他几种下载方式。

方式一：通过git下载

如果你的电脑上还没有安装git，首先安装git。

brew install git

由于模型文件很大，还需要安装Git Large File Storage。

brew install git-lfs

然后可以通过git clone的方式下载。

直接在终端执行

git clone https://huggingface.co/PharMolix/BioMedGPT-LM-7B

即可将仓库中所有文件下载到本地。

方式二：直接通过文件链接下载

我们可以进入到PharMolix/BioMedGPT-LM-7B的文件页面。点击文件的下载箭头，就可以直接把文件下载到本地。

需要下载的文件如下，包含了模型和tokenizer所必需的文件。

pytorch_model-00001-of-00003.bin` `pytorch_model-00002-of-00003.bin` `pytorch_model-00003-of-00003.bin` `pytorch_model.bin.index.json` `special_tokens_map.json` `config.json` `generation_config.json` `tokenizer.json` `tokenizer.model` `tokenizer_config.json

方式三：通过huggingface官方提供的模型的下载工具snapshot_download进行下载。

from huggingface_hub import snapshot_download``snapshot_download(repo_id="PharMolix/BioMedGPT-LM-7B")

snapshot_download提供了很多参数，比如你可以通过allow_patterns参数来决定你要下载的文件，resume_download设置为True则可以继续上次中断的下载。更多参数细节请参考官方文档。

from huggingface_hub import snapshot_download``# 只下载json文件``snapshot_download(repo_id="PharMolix/BioMedGPT-LM-7B", ``                  allow_patterns="*.json",`                  `resume_download=True)

模型加载

现在，我们已经准备好了环境和相应的文件，也已经启动了一个jupyter notebook用来编写代码。BioMedGPT-LM-7B是基于meta-llama/Llama-2-7b，在生物医药语料上增量训练得到的，模型的加载方式和llama2-7B模型的加载方式一致。我们可以直接通过transformers进行模型的加载。也可以直接print(model)把模型结构打印出来，具体的模型细节可以查看llama2官网和技术报告。

transformers.AutoModelForCausalLM的from_pretrained函数可以从huggingface仓库直接下载模型也可以加载本地下载好的模型。model_path是你存放模型和tokenizer文件的路径。运行上面的代码，我们就成功的在mac笔记本上加载了BioMedGPT-LM-7B模型，我们可以直接打印模型，查看模型的具体信息。如果提示内存不足，建议先关掉其他不需要的进程。

Tokenizer加载

如下图所示（来源于huggingface官方文档），文本在传入到模型到输出结果，需要经过三个步骤。Tokenizer把输入的文本切分成一个一个的token，然后将token转变成向量，Model负责根据输入的变量提取语义信息，输出logits；最后Post Processing根据模型输出的语义信息，执行具体的nlp任务，比如情感分析，文本分类等。接着我们要加载模型对应的tokenizer，tokenizer相关文件和模型文件都在BioMedGPT-LM-7B/文件夹下。其中，tokenizer.json存放了tokenizer的词表，tokenizer_config.json里有tokenizer的相关参数，tokenizer.model则存放着模型参数。

使用tokenizer处理输入的文本得到模型需要的向量表示。

input_ids就是每个token对应的词表id，把其作为模型的输入，得到输出的token id，然后通过tokenizer的decoder方法将output解码成文字。

至此，我们成功地在笔记本上加载了7B的大模型，并用来生成了一段文字。注意，由于本教程在笔记本上使用CPU执行，而7B的模型有70亿参数之多，model.generate这步模型推理过程非常耗时，需要耐心等待结果输出（可能需要执行2个小时）。

因此，下一篇文章，我们将会和大家一起讨论如何在使用模型的过程中进行加速，包括对模型进行量化和使用GPU。后面我们也会介绍更多的内容给大家，包括如何使用BioMedGPT-LM-7B构建一个医药助手。敬请期待~

教程 for Windows 笔记本

环境搭建

conda环境 (可选)

conda提供了两个核心能力：一个是做环境隔离，一个是管理你的安装包。强烈推荐配置conda环境，它可以为你创建一个虚拟环境，最大限度地避免各种环境冲突。

访问 https://docs.conda.io/en/latest/miniconda.html 下载Miniconda：

如下图，启动conda命令界面：

上面截图中的信息表示，初始的时候，conda info --envs命令显示，系统中只有一个名叫“base”的虚拟环境。而在执行了 conda create --name BioMedGPT-env 命令之后，系统中就创建出来一个名叫“BioMedGPT-env”的虚拟环境。下面我们安装所需要的软件包，都会安装到这个虚拟环境下。

然后使用

 conda activate BioMedGPT-env

命令激活这个新的虚拟环境。

安装python。这一步比较关键，它会确保你的python运行环境从零开始创建，不会受电脑上已经存在的其他python包的影响。

python环境

下面安装一系列需要的python包。本教程为了简单，只需要安装4个python包：torch、transformers、xformers、accelerate。下面执行 pip install 命令进行安装。为了加快从网上下载安装包的速度，用“-i”命令选项指定一下清华的安装镜像地址。

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torch transformers xformers accelerate

![](https://mmbiz.qpic.cn/sz_mmbiz_png/KhjBRibCRU2ibek1hBhfEnvcuJNSPyHe6dkm51pNNKGET1ibeurQMEnwibAhbsFNg3fAcEYwibibFibYUZv6byAiczP92A/640?wx_fmt=png&wxfrom=5&wx_lazy=1&wx_co=1)

模型下载和加载

我们使用Hugging Face提供的transformers框架来加载模型以及必需的其它配置。

我们执行以下代码。为了适当暴露加载模型的一些细节，达到教学目的，我们特意单独加载模型和tokenizer，然后采用一个pipeline来把它们串起来（细节见下面的分步骤讲解）。

from transformers import pipeline``from transformers import AutoTokenizer``from transformers import LlamaForCausalLM``import torch``   ``model = LlamaForCausalLM.from_pretrained("PharMolix/BioMedGPT-LM-7B", low_cpu_mem_usage=True)``tokenizer = AutoTokenizer.from_pretrained("PharMolix/BioMedGPT-LM-7B")``pipe = pipeline(task = "text-generation", model = model, tokenizer = tokenizer)

如下图所示（来源于huggingface官方文档），文本在传入到模型到输出结果，需要经过三个步骤。Tokenizer把输入的文本切分成一个一个的token，然后将token转变成向量，Model负责根据输入的变量提取语义信息，输出logits；最后Post Processing根据模型输出的语义信息，执行具体的nlp任务，比如情感分析，文本分类等。

因此，我们需要加载两个核心的对象，一个是模型，一个是tokenizer。在上面代码中，model变量存储了模型本身。而tokenizer的作用是对于模型输入的自然语言文本做预处理（preprocessing）。由于计算机只能对数字进行处理（语言模型也不例外），而我们的输入是自然语言，因此需要一个tokenizer来把文本转成计算机能够处理的数字（最终转成向量的形式，喂给模型）。

另外，上面代码中的"PharMolix/BioMedGPT-LM-7B"，是我们的模型发布在Hugging Face平台上的model ID，见下图：

【注意】我们使用 LlamaForCausalLM.from_pretrained() 来初次加载模型的时候，它会先从Hugging Face的模型库中下载模型文件，然后再加载到内存。由于模型通常比较大，至少十几个GB甚至几十个GB，因此这个下载过程可能会花费比较长的时间（取决于网络情况）。如果中途下载失败，需要重新执行多试几次。

如果下载过程实在不顺利，也可以尝试手动下载方式。可以参考前面MacBook教程里面的“模型下载”的三种方式，选用适合自己的方式。过程是一样的，这里就不赘述了。

模型加载成功，可以将模型打印出来看一下：

加载并打印tokenizer：

下面是tokenizer的一个例子：

另外，前面代码的最后一行，使用pipeline将tokenizer和model串起来。得到的pipeline实例，就可以用于后续的推理（文本生成）

执行推理

好了，至此，我们终于可以调用模型来生成文本了。我们调用前面的pipe，向模型输入一个问句：“How to disign a drug?” (翻译：如何设计一款药物？)

pipe("how to design a drug?", max_new_tokens = 128)

【注意】我们这里又到了一个比较耗时的执行环节。由于本教程在笔记本上使用CPU执行，而7B的模型有70亿参数之多。模型推理过程非常耗时，需要耐心等待结果输出（可能需要执行2个小时）。

至此，我们成功地在笔记本上加载了7B的大模型，并用来生成了一段文字。下一篇文章，我们将会和大家一起讨论如何在使用模型的过程中进行加速，包括对模型进行量化和使用GPU。后面我们也会介绍更多的内容给大家，包括如何使用BioMedGPT-LM-7B构建一个医药助手。敬请期待~

那么，如何系统的去学习大模型LLM？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

所有资料 ⚡️ ，朋友们如果有需要全套 《LLM大模型入门+进阶学习资源包》，扫码获取~

篇幅有限，部分资料如下：

👉LLM大模型学习指南+路线汇总👈

💥大模型入门要点，扫盲必看！

💥既然要系统的学习大模型，那么学习路线是必不可少的，这份路线能帮助你快速梳理知识，形成自己的体系。

👉大模型入门实战训练👈

💥光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉国内企业大模型落地应用案例👈

💥《中国大模型落地应用案例集》 收录了52个优秀的大模型落地应用案例，这些案例覆盖了金融、医疗、教育、交通、制造等众多领域，无论是对于大模型技术的研究者，还是对于希望了解大模型技术在实际业务中如何应用的业内人士，都具有很高的参考价值。 （文末领取）

💥《2024大模型行业应用十大典范案例集》 汇集了文化、医药、IT、钢铁、航空、企业服务等行业在大模型应用领域的典范案例。

👉LLM大模型学习视频👈

💥观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。 （文末领取）

👉640份大模型行业报告👈

💥包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

👉获取方式：

这份完整版的大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓