AI大模型本地简易搭建方式

前言

朋友想要实现一个本地ChatGPT风格的对话功能，在Steam Deck上再安装一遍,记录一下。

步骤

下载Ollama

到Github上直接点击下载

GitHub - ollama/ollama: Get up and running with Llama 3, Mistral, Gemma 2, and other large language models.

安装Ollama

双击安装即可

修改Ollama中下载模型的位置

这里防止所有模型都下载到C盘，可以修改一下下载位置

可以在其他盘建一个空文件夹存放模型，此处在D盘新建ollamamodel文件夹，并修改系统环境变量，记得点确定

简易新手用户设置完系统环境变量之后重启一遍电脑并检查一遍环境变量再进行下面的操作

检查Ollama是否安装成功

检查托盘图标和控制台输入ollama来测试是否正常安装

下载模型

可以在这里找到自己想使用的模型
Ollama Models
里面会有对应的命令直接复制粘贴到命令行即可
比如我们要下载qwen2的1.5B模型，选择qwen2

进入并复制命令

在控制台粘贴此命令

耐心等待下载即可

尝试与模型对话

此时说明模型加载完毕，可以进行对话测试

可以尝试输入问题进行对话

输入/?可查看常用命令
输入/bye可退出聊天

使用API访问模型

Ollama API使用指南

下载Docker（后续补充Docker运行OpenWebUI方式）

去官网下载即可
Docker官网

总结

Steam Deck可能会成为未来微粒计算以及智能硬件的个人计算中枢雏形。