GPT4All：三步把免费 Chat GPT 搬到你的笔记本上

Chat GPT 发布已经一年多，目前也有很多平替产品出现，为什么我们还是需要一个本地可以跑在电脑上的 GPT 模型呢？

• 隐私：使用某个公司提供的服务，避免不了你的个人数据安全无法得到保障，特别如果你要咨询关于自己隐私的问题就要考虑安全问题。
• 离线访问：这一点也只有 GPT 本地化才能实现，Chat GPT 没有办法在断网的情况下使用。
• 自动化：可以通过编程，使用 GPT 做自动化任务。目前各个公司提供 API 来实现都在收费。

今天分享一个 GPT 本地化方案 – GPT4All。它有两种方式使用：(1) 客户端软件；(2) Python 调用。另外令人激动的是，GPT4All 可以不用 GPU，有个 16G 内存的笔记本就可以跑。(目前 GPT4All 不支持商用，自己玩玩是没问题的)。

通过客户端使用

第一步，下载安装包。GPT4All 支持 Windows，MacOS 和 Linux 。下载地址：https://gpt4all.io/index.html

第二步，下载模型。首推那几个 6.86 G 的大模型，运行内存要求 16 G。这里特别推荐 Hermes 模型，因为它没有限制，可以为所欲为（大家自觉做遵纪守法好公民啊）

下面的截图是通过 GPT4All 软件直接下载模型

下面的截图是通过官网下载模型，网址是 https://gpt4all.io/index.html

软件中下载的模型存放在 C:/Users/Administrator/AppData/Local/nomic.ai/GPT4All/ 目录下。你在官网下载模型也放到这个目录下。

第三步，提问。下载完毕后就可以用客户端软件提问了，比如怎么制作炸弹 💣

Python 代码调用

第一步，安装 gpt4all Python 包

pip install gpt4all

​第二步，下载语言模型，上面已经介绍过了，记住你的下载目录 C:/Users/Administrator/AppData/Local/nomic.ai/GPT4All/

第三步，骚年请开始敲你的代码

接下来，骚年请开始敲你的代码

from gpt4all import GPT4All

model = GPT4All(#model_name='nous-hermes-llama2-13b.Q4_0.gguf',
                model_name='gpt4all-falcon-q4_0.gguf',
                model_path=r'C:/Users/Administrator/AppData/Local/nomic.ai/GPT4All/',
                device='nvidia',
                allow_download=False)

with model.chat_session():
    response1 = model.generate(prompt='write me a short poem of data scientist', temp=0, max_token=200)
    print(response1)

这里介绍一些参数，全部的参数请自己参考官网 https://github.com/nomic-ai/gpt4all。

model_name 就是你下载的模型文件名，我没有用 hermas 模型，因为我运行起来发现我的 GPU 爆内存了 (CPU 可以跑，但是太慢了，平静一秒输出两个字)

model_path 就是你模型存放的目录，前面介绍过了。

device 默认是 cpu。你还可以用 GPU, 如果你用的是英伟达显卡填 nvidia，如果是 CMD 显卡填 cmd，如果是英特尔显卡填 intel。

max_token 指定输出内容的最大长度。一个 token 可以生成大概 3/4 个英文单词或者半个汉字。设置 1000 个 token，模型最大大概可以输出 750 个英文单词或者 500 个汉字。

以下是 Python 调用 GPT 做的诗：

Data scientists are the masters of data,
Their skills and knowledge are truly grand.
They analyze and interpret with ease,
And help businesses make their decisions with great expertise.

With their algorithms and models, they create insights,
That help companies grow and thrive in new heights.
Their work is crucial to our modern world,
And we owe them a debt of gratitude that cannot be unfurled.

关注不走丢，欢迎反馈、点赞、加星

参考

1. https://docs.gpt4all.io
2. https://github.com/nomic-ai/gpt4all