10分钟私有化部署大模型到本地

最新推荐文章于 2024-09-07 10:45:00 发布

雪碧没气阿

最新推荐文章于 2024-09-07 10:45:00 发布

阅读量926

点赞数 20

文章标签：数据库人工智能大语言模型知识库本地部署大模型 LLM 计算机技术

本文链接：https://blog.csdn.net/xxue345678/article/details/141215764

版权

导入

如今, 私有化部署一个大模型早已不是什么有门槛或技术含量的工作了，更多的只是一种信息差而已。照着这个教程来，即使小白也可以在本地部署大模型。

技术要求：会点鼠标，会打字😀 我们只需要两个软件：

Ollama: ollama.com/

ChatBox：chatboxai.app/zh

Ollama

Ollama是一个开源的大型语言模型（LLM）服务工具，它旨在简化在本地运行大语言模型的过程，降低使用大语言模型的门槛。它允许开发者、研究人员和爱好者在本地环境中快速实验、管理和部署最新的大语言模型，包括但不限于Qwen2、Llama3、Phi3、Gemma2等开源的大型语言模型。Ollama通过提供一个简单而高效的接口，使用户能够轻松地创建、运行和管理这些模型，同时还提供了丰富的预构建模型库，方便集成到各种应用程序中。

1. 下载Ollama

官网下载Ollama ollama.com/ 在这里插入图片描述

2. 安装Ollama

一路点点点，安装完成。

3. 下载模型

在Ollama的模型仓库ollama.com/library，查找你…

在这里插入图片描述

我们可以使用qwen2 0.5b的模型，这个模型用了4bit的量化，模型大小只有352MB。

在这里插入图片描述

在终端cmd中，输入拉取模型的命令：

ollama pull qwen2:0.5b

在这里插入图片描述

4. 启动Ollama

输入命令，启动 qwen2:0.5b：

ollama run qwen2:0.5b

在这里插入图片描述

至此，你的电脑里已经有了一个本地大模型了，你也可以拉取其它更大的模型来提升模型效果。

ChatBox

Chatbox AI 是一款 AI 客户端应用和智能助手，支持众多先进的 AI 模型和 API，可在 Windows、MacOS、Android、iOS、Linux 和网页版上使用。

1. 下载ChatBox

在官网下载chatbox chatboxai.app/zh#download

在这里插入图片描述

2. 安装ChatBox

一路点点点，安装完成。

3. 配置ChatBox

在chatbox左下角找到设置

在这里插入图片描述
模型提供方选ollama

在这里插入图片描述
api设置为: http://localhost:11434

模型设置为：qwen2:0.5b

点击保存

测试

在这里插入图片描述

可以看到已经使用qwen2:0.5b回答了。如果你有很强的GPU，完全可以拉取更大的模型部署，效果更好。全程不需要高深的计算机知识，只需要正常安装软件的能力即可。

参考

[1] GitHub: LLMForEverybody

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述