LLMs-入门一：【开胃菜】win环境搭建基于Llama 2的智能聊天机器人

一、前言

1、搭建准备

1）说明

• csdn中屏蔽了显示外网的网址，因此如果需要也可以查看https://www.toutiao.com/article/7281536587320623651中的内容，没有被屏蔽

2）google账号

3）HuggingFace账号

4）Llama 2网址：Meta AI网址

5）构建机器学习演示和Web应用

• 网址https://github.com/oobabooga/text-generation-webui

2、申请Llama 2模型下载

1）Llama 2模型介绍

Llama 2模型共有3种，如下图所示

• 7B：7亿参数的模型（可不用GPU，CPU也可以跑起来）。本文档就以该模型为例
• 13B：13亿参数的模型
• 70B：70亿参数的模型

2）申请步骤

下载Llama 2需要在Meta AI上提交申请，申请周期一般1-2天，正常情况下申请当天就可以申请下来。
申请填写信息页面如下：

在该页面中需要填写姓名、邮箱地址、国家、用途，以及需要申请的模型
注：

• Email：一定要能成功收到国外网站邮件的邮箱，建议使用google邮箱。申请时所使用的邮箱一定要与申请HuggingFace账号时所用的邮箱保持一致
• Country：最好选择与你科学上网的VPN映射的国家，如果选择中国将显示如下英文，中文意思大概为“抱歉，您所在的地区无法下载”
  
• Organization/Affiliation：填写自用即可
• 最好全英文填写，如下图所示
  
• 填写好如上信息后，勾选“我接受条款及条件”点击【接受并继续】按钮完成申请的提交
  
• 申请成功后，您将会收到如下邮件，一般情况会收到两封邮件。一封是Llama 2模型的，另一封是相关代码的。
  

3）异常情况

如果在2天内没有收到Meta AI发送的成功申请邮件，大概率需要重新申请，极端的情况下是所使用的该google账号将无法申请到Llama 2的下载权限，需要使用其他google账号重新进行申请。

二、本地搭建过程

1、下载构建机器学习演示的Web应用

1）下载一键安装包。地址：第一章第一节第5）小节

在该地址中安装环境有4种，如下图所示：

本文以Windows环境为例，因此下载第1中“oobabooga-windows.zip”。

2）将该压缩包解压到自己指定的目录下

3）鼠标双击【start_windows.bat】进入到一键安装页面

4）进入安装页面后，会自动下载所需要的安装包

这个过程可能会需要比较长的时间，也有可能因为网络问题无法下载，需要反复执行。另外我们也可以通过编辑“start_windows.bat”批处理文件中相关下载内容的镜像地址，来加快下载速度。如下图修改前后的比较

• 修改前：
  
• 修改后：
  
• 修改后的为国内清华的镜像地址，如下
  https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-py310_23.3.1-0-Windows-x86_64.exe

5）自动下载所需要的安装包过程如下所示

6）选择解码方式：GPU还是CPU

4个选择项分别如下：

• A）NVIDIA：英伟达。如果当前安装的windows系统的显卡是英伟达的，选择该项
• B）AMD：该项需要特别说明的是，目前在windows上是不支持AMD显卡的。在text-generation-webui官方有相关的说明。当为AMD显卡时，选择“D”选项
• C）Apple M Series：如果是苹果电脑的话，选择该项。并且安装包也应该是对应的苹果的安装包
• D）None：如果是CPU的，选择该选项。
  因为本次安装的环境无GPU显卡，因此选择“D”选项并按“回车”就进行后续的安装了，如下图所示：
  

7）安装过程如下图所示及过程问题解决

• 安装过程
  
• 过程问题
  如果在安装过程中出现错误，提示按任意键退出的话，就需要我们重新执行【start_windows.bat】或者还得同时删除掉已经安装好的安装包（删除掉installer_files目录及以下内容即可），然后点击【start_windows.bat】重新执行

8）成功安装完整过程如下图所示

在浏览器地址栏里输入http://127.0.0.1:7860完成登录，成功登录如下图所示

• 聊天页面
  

2、下载语言模型

1）Meta AI网站上申请Llama2模型

需要下载的语言模型是通过HuggingFace网站进行下载的，下载的前提是在Meta AI网站上申请Llama 2模型通过。
申请步骤请参见：第一章第2节第2）小节

2）HuggingFace网站上下载模型

（1） 账号注册

注册使用的账号（邮箱）一定要与在Meta AI网站上申请Llama2提供的邮箱保持一致，否则无法在该网站上下载申请通过的模型。

（2） 模型申请

申请的地址：https://huggingface.co/meta-llama
Llama 2相关模型及链接地址：

可以按需申请下载需要使用的模型，如7B的Llama2-chat-hf,点击对应的Link如下图所示

在该页面点击【提交】按钮申请模型，申请后如下图所示

如果已经在1）成功申请（收到了Meta AI发的邮件），我们在点击【提交】按钮后会在很短的时间获得到模型的下载权限，如下图所示

（3） 也可用现有的GGML模型

如选择TheBloke/Llama-2-7B-Chat-GGML，点击进入，选择最新的版本，如下图

一般来说选择的文件越大最终的效果也是越好的。下载该模型到本地。

（4） 将下载的模型放到本地指定的目录下

位置如下图所示：

3）使用模型

（1） 加载模型

重新打开双击【start_windows.bat】，启动该应用。
启动后，在浏览器端打开该页面，点击【Model】选项，然后在该页面选择下载好的模型后点击【Load】加载该模型，在该页面右侧显示成功状态后模型加载完成，我们就可以基于该模型进行聊天/生成文案了。如下图所示

（2） 配置完成：聊天

点击【Chat】选项，在“Send a message”对话框中输入聊天的内容，如下图所示

下一篇提前预告：基于google云端Colab部署Llama 2