Windows 使用llamafile方案运行大语言模型(极简版教程)

在上一篇教程:Windows使用llamafile方案一键部署大语言模型并实现远程访问(小白建AI网站教程)里采用的是当模型大于4G的时候,需要结合llamafile一起来运行,但是当模型小于4G的时候,或者等于4G大小的时候,还有一种更简单的方式来运行,更适合小白,特别是一些设备配置不高的情况下,我们也可以很简单的运行一个模型,下面介绍具体步骤.

1.下载大语言模型

进入官方github界面或者第三方网站页面我们都可以下载模型,如无法打开github,可以进入第三方下载界面下载,这里我们打开第三方下载界面,下载一个2G大小的模型,注意不能超过4G,如果想要运行大于4G的模型,参考Windows使用llamafile方案一键部署大语言模型并实现远程访问(小白建AI网站教程) 这个教程.

*llamafile github 地址: https://github.com/Mozilla-Ocho/llamafile

*第三方界面: https://www.modelscope.cn/models/bingal/llamafile-models/,

打开后,我们选择这个千问的模型下载,大小是1.17G,点击下载到windwos本地即可.

2. 一键运行大语言模型

下载后,我们打开查看下载的模型,可以看到一个结尾名称为llamafile,下面我们需要修改一些后缀.

把结尾后缀为llamafile的文件,直接改为exe后缀结尾,exe为windows可执行文件

修改后,我们直接双击运行即可,出现这个窗口提示我们点击更多信息

然后选择"仍要运行",然后可能出现网络提示,我直接选择使用网络即可

运行后,我们可以看到cmd控制台,有一个访问地址,把这个地址复制到浏览器即可访问到web ui 界面,默认是会自动跳转到浏览器打开,如果没有,手动访问一下即可

打开浏览器后,我们可以看到了web 界面,默认是8080端口,这样以非常简单的方式就成功运行了一个大语言模型

在这里下面我们直接输入对话信息,点击send发送

可以看到大语言进行的回复信息,这样一个AI网站就运行成功了,是不是非常的简单,这是技术性的突破,无需繁杂的步骤就完成了运行,如果要运行其他模型,重复这个方式即可!