LLaMA2 开源大模型部署笔记一

LLaMA2 开源大模型发布

7月19日讯，据 Meta 官方消息，Meta AI 现已正式发布最新一代开源大模型Llama 2。

和此前发布的 Llama 相比，Llama 2训练所用的token翻了一倍至2万亿，同时对于使用大模型最重要的上下文长度限制，Llama 2也翻了一倍。Llama 2包含了70亿、130亿和700亿参数的模型。

此外 Meta 还宣布，将与微软 Azure 进行合作，向其全球开发者提供基于Llama 2模型的云服务。同时 Meta 还将联手高通，让Llama 2能够在高通芯片上运行。

中文 LLaMA&Alpaca 大模型 2 发布

此项目基于Meta发布的可商用大模型Llama-2开发，是中文LLaMA&Alpaca大模型的第二期项目，开源了中文LLaMA-2基座模型和Alpaca-2指令精调大模型。这些模型在原版Llama-2的基础上扩充并优化了中文词表，使用了大规模中文数据进行增量预训练，进一步提升了中文基础语义和指令理解能力，相比一代相关模型获得了显著性能提升。相关模型支持FlashAttention-2训练。标准版模型支持4K上下文长度，长上下文版模型支持16K上下文长度，并可通过NTK方法最高扩展至24K+上下文长度。

该项目的主要内容

• 🚀 针对Llama-2模型扩充了新版中文词表，开源了中文LLaMA-2和Alpaca-2大模型

• 🚀 开源了预训练脚本、指令精调脚本，用户可根据需要进一步训练模型

• 🚀 使用个人电脑的CPU/GPU快速在本地进行大模型量化和部署体验

• 🚀 支持🤗transformers, llama.cpp, text-generation-webui, LangChain, privateGPT, vLLM等LLaMA生态

该项目开源的模型

• 基座模型：Chinese-LLaMA-2-1.3B, Chinese-LLaMA-2-7B, Chinese-LLaMA-2-13B

• 聊天模型：Chinese-Alpaca-2-1.3B, Chinese-Alpaca-2-7B, Chinese-Alpaca-2-13B

• 长上下文模型：Chinese-LLaMA-2-7B-16K, Chinese-LLaMA-2-13B-16K, Chinese-Alpaca-2-7B-16K, Chinese-Alpaca-2-13B-16K

经过一个周末的折腾，text-generation-webui 体验较好，后文主要介绍基于 此的部署使用。

oobabooga/text-generation-webui

text-generation-webui开源项目是一个 用于大模型交互的 WebUI 项目。

它的目标是成为大模型文本生成的 AUTOMATIC1111/stable-diffusion-webui 。

一键式安装程序

1. 克隆或下载存储库。

git clone  https://github.com/oobabooga/text-generation-webui.git

下载完成后文件目录情况如下：

下载下来的 Chinese-Alpaca-2-7B 大模型目录 整个放到 models 目录中即可。

2. 根据您的操作系统运行start_linux.sh、start_windows.bat、start_macos.sh或start_wsl.bat脚本。

作者使用的是 MAC ，选择start_macos.sh 开始运行

3. 当被要求时，选择您的GPU供应商。最新版本已支持绝大多数电脑情况，依据自身是 Windows 、 Linux 、 MacOS 等情况自己选择就好，输入对应的字母编号回车后，就会按照具体情况进行安装。超简单！

4. 安装过程存在的问题：

在安装过程中，会出现提示 tiktoken 版本安装为 0.5.1，openai-whisper 需要 0.3.3 版本的情况，两者不兼容的报错。

按照开源社区中 部分大佬给出的解决方案为采用 text-generation-webui 1.6 稳定版本。

git clone --depth 1 --branch v1.6 https://github.com/oobabooga/text-generation-webui.git oobabooga

部分用户在采用 1.6 稳定版本后解决此问题 （Windows），MACOS 下降低为 1.6 版本依然报错。

此时，单独安装openai-whisper 可解决此问题：

pip install git+https://github.com/openai/whisper.git

安装完成后再重新启动text-generation-webui ，start_macos.sh 可正常启动

Tips：安装过程会下载较多依赖包，事件试网速情况 10-20 分钟不等，部分内容需科学上网。
 

工作方式

该脚本创建一个名为installer_files的文件夹，使用Miniconda设置Conda环境。安装是自包含的：如果您想重新安装，只需删除installer_files并再次运行启动脚本。
要在webui安装后将来启动它，请运行相同的start脚本。

获取更新

运行update_linux.sh、update_windows.bat、update_macos.sh或update_wsl.bat。

运行命令

如果您需要在installer_files环境中手动安装某些内容，您可以使用cmd脚本启动交互式shell：cmd_linux.sh、cmd_windows.bat、cmd_macos.sh或cmd_wsl.bat。

定义命令行标志

要定义持久命令行标志，如--listen或--api，请使用文本编辑器编辑CMD_FLAGS.txt文件，并将它们添加到其中。标志也可以直接提供给启动脚本，例如，./start-linux.sh --listen。

加载LLaMA2 模型

运行启动后，访问 127.0.0.1:7860 即可进行正常访问，LLaMA2 模型不是默认加载的，需要在先进行模型配置：

切换到 Model 菜单，在 Model 选项中 可以看到 之前我们 下载并迁移到 models 目录下的 chinese-alpaca-2-7b-hf 的模型，选中后 点击旁边“load” 按钮。加载成功后 在右下状态栏可看到 “Successfully xxxxxxx……” 加载成功。

聊天吧！少年

chinese-alpaca-2-7b-hf 模型是基于 chat 模式的模型，我们可以切换到 Chat 板块，此时你可以问 LLaMA 2 问题了，开心到飞起😆

问了几个问题，可见中文 LLaMA2 开源模型比上一代更友好，好好的进化了😄。

text-generation-webui 还提供了很多chat 所需配置选项

 

不足之处-卡

 作者用的是 Mac M2Max ，进行推理时，可以用，但是速度稍微有些慢，狂躁症患者慎用……

 最重要的提醒

大模型是依据海量数据训练后的成果，其训练数据可能涉及到版权及不合法内容，按照我国生成大模型使用要求，在未经过国家审核评估的大模型应用不能提供大模型服务，LLaMA2 开源大模型虽然可以进行商用，但提供公开服务时依然需要经过相关合法审核后才可提供。

好了，祝大家玩的开心。