LLMs-入门一:【开胃菜】win环境搭建基于Llama 2的智能聊天机器人
一、前言
1、搭建准备
1)说明
- csdn中屏蔽了显示外网的网址,因此如果需要也可以查看https://www.toutiao.com/article/7281536587320623651中的内容,没有被屏蔽
2)google账号
3)HuggingFace账号
4)Llama 2网址:Meta AI网址
5)构建机器学习演示和Web应用
- 网址https://github.com/oobabooga/text-generation-webui
2、申请Llama 2模型下载
1)Llama 2模型介绍
Llama 2模型共有3种,如下图所示
- 7B:7亿参数的模型(可不用GPU,CPU也可以跑起来)。本文档就以该模型为例
- 13B:13亿参数的模型
- 70B:70亿参数的模型
2)申请步骤
下载Llama 2需要在Meta AI上提交申请,申请周期一般1-2天,正常情况下申请当天就可以申请下来。
申请填写信息页面如下:
在该页面中需要填写姓名、邮箱地址、国家、用途,以及需要申请的模型
注:
- Email:一定要能成功收到国外网站邮件的邮箱,建议使用google邮箱。申请时所使用的邮箱一定要与申请HuggingFace账号时所用的邮箱保持一致
- Country:最好选择与你科学上网的VPN映射的国家,如果选择中国将显示如下英文,中文意思大概为“抱歉,您所在的地区无法下载”
- Organization/Affiliation:填写自用即可
- 最好全英文填写,如下图所示
- 填写好如上信息后,勾选“我接受条款及条件”点击【接受并继续】按钮完成申请的提交
- 申请成功后,您将会收到如下邮件,一般情况会收到两封邮件。一封是Llama 2模型的,另一封是相关代码的。
3)异常情况
如果在2天内没有收到Meta AI发送的成功申请邮件,大概率需要重新申请,极端的情况下是所使用的该google账号将无法申请到Llama 2的下载权限,需要使用其他google账号重新进行申请。
二、本地搭建过程
1、下载构建机器学习演示的Web应用
1)下载一键安装包。地址:第一章第一节第5)小节
在该地址中安装环境有4种,如下图所示:
本文以Windows环境为例,因此下载第1中“oobabooga-windows.zip”。
2)将该压缩包解压到自己指定的目录下
3)鼠标双击【start_windows.bat】进入到一键安装页面
4)进入安装页面后,会自动下载所需要的安装包
这个过程可能会需要比较长的时间,也有可能因为网络问题无法下载,需要反复执行。另外我们也可以通过编辑“start_windows.bat”批处理文件中相关下载内容的镜像地址,来加快下载速度。如下图修改前后的比较
- 修改前:
- 修改后:
- 修改后的为国内清华的镜像地址,如下
https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-py310_23.3.1-0-Windows-x86_64.exe
5)自动下载所需要的安装包过程如下所示
6)选择解码方式:GPU还是CPU
4个选择项分别如下:
- A)NVIDIA:英伟达。如果当前安装的windows系统的显卡是英伟达的,选择该项
- B)AMD:该项需要特别说明的是,目前在windows上是不支持AMD显卡的。在text-generation-webui官方有相关的说明。当为AMD显卡时,选择“D”选项
- C)Apple M Series:如果是苹果电脑的话,选择该项。并且安装包也应该是对应的苹果的安装包
- D)None:如果是CPU的,选择该选项。
因为本次安装的环境无GPU显卡,因此选择“D”选项并按“回车”就进行后续的安装了,如下图所示:
7)安装过程如下图所示及过程问题解决
- 安装过程
- 过程问题
如果在安装过程中出现错误,提示按任意键退出的话,就需要我们重新执行【start_windows.bat】或者还得同时删除掉已经安装好的安装包(删除掉installer_files目录及以下内容即可),然后点击【start_windows.bat】重新执行
8)成功安装完整过程如下图所示
在浏览器地址栏里输入http://127.0.0.1:7860完成登录,成功登录如下图所示
- 聊天页面
2、下载语言模型
1)Meta AI网站上申请Llama2模型
需要下载的语言模型是通过HuggingFace网站进行下载的,下载的前提是在Meta AI网站上申请Llama 2模型通过。
申请步骤请参见:第一章第2节第2)小节
2)HuggingFace网站上下载模型
(1) 账号注册
注册使用的账号(邮箱)一定要与在Meta AI网站上申请Llama2提供的邮箱保持一致,否则无法在该网站上下载申请通过的模型。
(2) 模型申请
申请的地址:https://huggingface.co/meta-llama
Llama 2相关模型及链接地址:
可以按需申请下载需要使用的模型,如7B的Llama2-chat-hf,点击对应的Link如下图所示
在该页面点击【提交】按钮申请模型,申请后如下图所示
如果已经在1)成功申请(收到了Meta AI发的邮件),我们在点击【提交】按钮后会在很短的时间获得到模型的下载权限,如下图所示
(3) 也可用现有的GGML模型
如选择TheBloke/Llama-2-7B-Chat-GGML,点击进入,选择最新的版本,如下图
一般来说选择的文件越大最终的效果也是越好的。下载该模型到本地。
(4) 将下载的模型放到本地指定的目录下
位置如下图所示:
3)使用模型
(1) 加载模型
重新打开双击【start_windows.bat】,启动该应用。
启动后,在浏览器端打开该页面,点击【Model】选项,然后在该页面选择下载好的模型后点击【Load】加载该模型,在该页面右侧显示成功状态后模型加载完成,我们就可以基于该模型进行聊天/生成文案了。如下图所示
(2) 配置完成:聊天
点击【Chat】选项,在“Send a message”对话框中输入聊天的内容,如下图所示
下一篇提前预告:基于google云端Colab部署Llama 2