引言:
自从Meta开发大语言模型之后,AI本地部署的门槛越来越降低了,你可以通过简单的命令就可以将在你的电脑部署一个AI语言模型,使用的是本地算力,就算没有网络的情况下也能正常使用,除此之外本地部署的AI不会受到太多的限制。
本教程手把手教你在本地,计算机上部署AI,没有网络的情况也,通过本地计算资源进行计算。废话不多说,那么直接开始
安装前的自建
1.计算机空间要求:
工具类 | 名称 | 需要空间 |
大模型管理工具 | OllamaSetup.exe | 298.51 MB |
训练好的大模型本体 | llama3:8b | 4.7 GB |
合计 | 4.99 GB |
2.建议计算机配置:
只要是计算机都可以进行计算,但是能否顺畅运行还是的看计算机配置,能比较顺畅地运行配置:
CPU | ≥i5系列 |
内存 | ≥16GB |
硬盘 | ≥20G(空闲) |
安装流程
1.下载OllamaSetup.exe安装包(Windows版本)
官网地址:https://ollama.com/download/windows
官网下载速度太慢!5kb左右的下载速度,我将安装包放在百度网盘里,
关注我的公众号【Crazy Dave】回复【AI】领取安装包。
2.双击安装包,开始安装
3.点击安装
4.安装结束之后,程序会自动关闭。
5.Windows图标键+R键(win+R),运行窗口输入cmd,并点击确定
6.在命令窗口输入ollama命令,并确认,会出现ollama的菜单说明安装成功。
7.可以选择以下几个模型(模型的介绍):
模型 | 默认参数 | 大小 | 安装命令 | 发布组织 |
Llama 3.1 | 8B | 4.7GB | ollama run llama3.1 | Meta |
Mistral | 7B | 4.1GB | ollama run mistral | Mistral AI |
mixtral | 8x7b | 26GB | ollama run mixtral | Mistral AI |
Phi-3 | 3.8B | 2.2GB | ollama run phi3 | Microsoft Research |
LLaVA | 7B | 4.7GB | ollama run llava | Microsoft Research |
Gemma 2 | 9B | 5.4GB | ollama run gemma2 | |
Qwen2 | 7B | 4.4GB | ollama run qwen2 | 阿里巴巴 |
Command R | 35B | 20GB | ollama run command-r | Cohere |
deepseek-coder-v2 | 16B | 8.9GB | ollama run deepseek-coder-v2 | 深度求索 |
其中,Qwen是阿里巴巴的通义千问它对中文较友好。Llama 3.1:8B也支持中文,不过每一次都需要手动提醒它。
本教程选择使用Llama 3.1:8B
8.在命令窗口中输入ollama pull llama3:8b
9.然后输入ollama list 可以看到当前已经安装好的大模型名称
10.输入ollama run llama3:8b运行大模型
11.在">>>"后面写自己要提问的内容
由于llama3:8b模型对中文的支持不好,每一句都尽量加上“...用中文回复”这几个字,如果你安装的是Qwen2大模型,就不需要添加用中文回复提示词。