GPT4ALL【部署 01】GPT4ALL模型调用测试（Linux环境+Python代码）_gpt4all python

一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

二、学习软件

工欲善其事必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。

三、入门学习视频

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

• 是一个生态系统，用于训练和部署在消费级CPU上本地运行的强大和定制的大型语言模型；
• 成为任何人或企业都可以自由使用、分发和构建的最佳指令调谐助手式语言模型；
• GPT4All 模型是一个 3GB - 8GB 的文件，可以下载并插入 GPT4All 开源生态系统软件。Nomic AI 支持和维护这个软件生态系统，以加强质量和安全性，同时带头让任何人或企业轻松训练和部署自己的边缘大型语言模型。

2.环境

2.1 服务器

# 1.查询操作系统版本
cat /etc/os-release
# 查询结果
NAME="openEuler"
VERSION="22.03 (LTS-SP1)"
ID="openEuler"
VERSION\_ID="22.03"
PRETTY\_NAME="openEuler 22.03 (LTS-SP1)"
ANSI\_COLOR="0;31"

2.2 运行环境

也可以使用Anaconda或Docker构建运行环境：

# 2.查询python版本
python -V
# 查询结果
Python 3.9.18

# 3.组件版本
torch==2.1.2
gpt4all==2.2.1.post1
transformers==4.32.1

3.调用

3.1 代码

官方文档：https://docs.gpt4all.io/

from gpt4all import GPT4All
model = GPT4All("orca-mini-3b-gguf2-q4\_0.gguf")
output = model.generate("The capital of France is ", max_tokens=3)
print(output)

实际使用代码：

from gpt4all import GPT4All
def get\_answer\_form\_model(request):
    # 参数
    req = json.loads(request.body.decode())
    model_name = req['model']
    max_tokens = req['max\_tokens']
    question_text = req['question']
    # 调用
    model = GPT4All(model_name=model_name, model_path="/a\_model", allow_download=False)
    output = model.generate(question_text, max_tokens=max_tokens)
    print(output)
    return HttpResponse(output)

3.2 测试

{
    "model": "orca-mini-3b-gguf2-q4\_0.gguf",
    "max\_tokens": 30,
    "question": "The capital of France is "
}

100% Paris.
I hope that helps!

一些离谱的回答：

{
    "model": "baichuan2-7b-chat.Q3\_K\_L.gguf",
    "max\_tokens": 1200,
    "question": "我有6个鸡蛋，碎了2个，煎了2个，吃了2个，还剩下几个？请告诉我为什么？"
}

首先我们要知道这个问题的描述有些矛盾。
根据问题中的表述：“我有 6 个鸡蛋”、“碎了 2 个" 和 "煎了 2 个", 这意味着你已经使用了4个（碎的+煎的）蛋, 所以剩下的应该是1-3. 
但是接着又说 “吃了 2 个”,这个信息并没有在问题中给出为什么，所以我们需要重新理解问题的描述。
如果“吃”是指把鸡蛋放在其他食物里的话(比如炒饭、煎饼等) ,那么实际上你仍然使用了4颗蛋黄（煎的）和1颗蛋白 (碎的), 所以剩下的应该是5-6. 
因此, 根据不同的解释方式可能剩下几个蛋会有两种情况: 0个或7个。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！