GPT4All 本地部署教程

省流：偷懒的可以直接看第二章的GPT4All部署

一. GPT4All README

根据官方网站GPT4All的描述，它是一个开源大型语言模型，可在CPU和几乎任何GPU上本地运行

github source: https://github.com/nomic-ai/gpt4all

GPT4All Website and Models: GPT4All

GPT4All Documentation: GPT4All Documentation

Discord: https://discord.com/invite/mGZE39AS3e

Official Langchain Backend: https://python.langchain.com/docs/integrations/llms/gpt4all.html

（1）GPT4All: 开源边缘大型语言模型生态系统。

！！！Important ！！！

GPT4All v2.5.0 and newer only supports models in GGUF format (.gguf). Models used with a previous version of GPT4All (.bin extension) will no longer work.

备注1：上述意思是说新的版本基于只支持GGUF格式的模型，早先使用的版本.bin格式模型的GPT4All无法使用。

备注2：GGUF格式的模型在上述GPT4All Website and Models链接下载，进入网页往下翻即可找到。

备注3：GPT4All 是一个生态系统，用于运行功能强大的定制大型语言模型，可在消费级 CPU 和任何 GPU 上本地运行。请注意，您的 CPU 需要支持 AVX 或 AVX2 指令。

备注4：可以在上述GPT4All Documentation链接了解更多信息

GPT4All 模型是一个 3GB - 8GB 的文件，您可以下载并将其嵌入 GPT4All 开源生态系统软件。Nomic AI 支持并维护这一软件生态系统，以确保质量和安全性，同时率先努力让任何个人或企业都能轻松地训练和部署自己的边缘大型语言模型。

（2）What's New (Issue Tracker)

备注5：Issue Tracker 是一些网络用户关于GPT4All部署的问题，图片如下。

更新的信息如下：

1.October 19th, 2023: GGUF 支持以下方式启动：

• Mistral 7b是一个在GPT4All Website and Models上更新的模型图库、包括 Rift Coder v1.5 在内的多个新本地代码模型

• Nomic Vulkan 支持 GGUF 中的 Q4_0、Q6 量化。
• 离线构建支持运行旧版本的 GPT4All 本地 LLM 聊天客户端

2.September 18th, 2023:

Nomic Vulkan 发布，支持 AMD、英特尔、三星、高通和英伟达 GPU 上的本地 LLM 推理。

3.August 15th, 2023:

启动 GPT4All API，允许从 docker 容器推断本地 LLM。

4.July 2023:

稳定支持 LocalDocs，这是一个 GPT4All 插件，可让您与数据进行本地私聊。

（3）Chat Client

使用自动更新的桌面聊天客户端，在家用桌面上运行任何 GPT4All 模型。请参阅GPT4All Website and Models网址，了解您可以使用这款功能强大的桌面应用程序运行的开源模型的完整列表。

下载链接:

• macOS
• Windows
• Ubuntu

可在GPT4All Website and Models网址上查找最新信息

聊天客户端的构建和运行

按照聊天客户端 build_and_run 页面上的可视化说明进行操作

Bindings

• 🐍 Official Python Bindings
• 💻 Official Typescript Bindings
• 💻 Official GoLang Bindings
• 💻 Official C# Bindings
• 💻 Official Java Bindings

Integrations

• 🗃️ Weaviate Vector Database - module docs

 

二. GPT4All部署

第一步：下载安装包

下载地址：GPT4All Website and Models: https://gpt4all.io/index.html

下载后的文件如下

第二步：下载模型

下载地址：GPT4All Website and Models: https://gpt4all.io/index.html

备注6：这个模型页面需要挂梯子才能加载出来

备注7：模型中的SIZE是模型大小，RAM大小是要求电脑的配置，下面是模型功能描述

下面用一个例子做说明，本次也是下载这个模型。

模型大小为6.86G，要求电脑RAM为16G，电脑RAM可以右键点击桌面“ 此电脑 ”图标，选择属性 在弹出的窗口中，就可以看到已安装RAM 大小。

模型描述为：

Extremely good model--极好的模型

Instruction based--基于指令

Gives long responses--提供较长的回复

Curated with 300,000 uncensored instructions--包含 300,000 条未经审查的指令

Trained by Nous Research--由 Nous Research 训练

Cannot be used commercially--不能用于商业用途

第三步：安装第一步的安装包

双击第一步的安装包，点下一步

更改安装路径，路径不可有中文，然后点击下一步

默认下一步

接受许可，下一步

默认，下一步

点击安装

这中间会下载一些东西，可以挂上梯子，等待安装

单击完成

桌面出现GPT4All标志

 

第四步：模型存放

第二步下载的模型存放在E:\GPT4All目录下，就是第三步的安装路径

第五步：简单使用

双击下图的logo

下面两个选项问你是否向GPT4ALL反馈你的使用分析和聊天对话以帮助改进GPT4ALL，如果选择YES，你的聊天内容将公开可被别人下载，如果你的聊天内容涉及隐私的话建议选择NO

出现下载模型的界面，不用下载

选择第四步存放模型的页面

出现了我们下载的模型

输入hello world测试一下

测试效果如下

也可以中文问答，但答案是上面英文的翻译版本，翻译的也挺僵硬，上面我问的也是怎么做红烧肉

话外音：这个模型真的吃电脑资源。

Downloads可以下载新的模型

点击Downloads可以加载出可下载模型页面

和上面网址下载是一样的，名字可能不太一样，但是内容描述是一样的

下载一个小点模型， 然后重启一下软件，就可以在主页面顶上选择模型