使用Ollama在本地运行AI大模型（gemma、deepseek等）及UI整合（chatbox、Cherry Studio、Page Assist等）

本次本人用到的软件汇总：百度网盘下载

1.下载：

https://github.com/ollama/ollama/releases

2.配置环境变量

我的电脑-右键-属性-系统-高级系统设置-环境变量-【系统环境变量】新建

• 存储路径
  变量名：OLLAMA_MODELS （固定变量名）
  变量值：E:\Ollama\Lib （写自己要存放的路径）

先配置好这个变量，这个是ollama的存储路径。
不配置也可以，不配置的话就会放到默认位置，建议还是修改下存储路径，方便后续使用。

• host
  变量名：OLLAMA_HOST（固定变量名）
  变量值：0.0.0.0:11434
  Ollama 默认绑定在 127.0.0.1（即仅限本机访问），配置0.0.0.0则允许通过ip访问
  

3.安装

直接install即可。
安装完成后，cmd查询下：ollama --version
如果查询不到，重启下电脑即可。
我这里是因为我直接把ollama给关了，所以出现了警告，不过也同样可以看到ollama客户端的版本。

ollama的其他命令可以通过ollama help来获取

4.下载并运行模型

• 模型电脑最低条件:
  2B版本需要2G显存
  7B版本需要4G显存
  个人笔记本的话，7B版本差不多吧

• 谷歌开源gemma、国产开源deepseek

• 打开命令提示符窗口下载运行模型：

  • 访问：https://ollama.com/library选择自己想要的模型，复制下载命令即可.
  • 拉取gemma7b版本：ollama run gemma:7b
  • 拉取deepseek-r1的7b版本：ollama run deepseek-r1:7b
  • 要拉取哪个模型就按照选中的模型及版本复制命令执行即可拉取
    

• ollama命令：

  • 查看已有模型：ollama list

• 下载完成后即在运行（只下载的话，就用ollama pull去拉取即可）
  

• 接下来可以直接在命令行窗口进行问答
  

• 拉取的模型可以在存储目录blobs下看到
  

5.整合界面UI

• chatbox【推荐】 : https://chatboxai.app/zh 下载windows客户端
  直接安装完按照下图选中相应模型就可以使用了。
  都是自动加载的，如果对界面没啥要求的，推荐直接用chatbox就可以了，啥都不用整就可以用了。
  

• Cherry Studio【推荐】

• 下载后直接安装就行了：https://cherry-ai.com/download

• 打开客户端进行相关配置：

  • 设置 -> 模型服务 选中ollama -> 管理 添加ollama中运行的模型。
  • API地址：默认就行
    
    

• 使用：点击上方的模型，就可以切换到ollama运行的模型了
  

• 谷歌浏览器插件（Page Assist、Anything LLM）【推荐】

  • 插件安装：打开谷歌【管理扩展程序】，直接把.crx文件拽进去即可。之后在管理扩展程序中找到刚才安装的插件点击【详情】把插件固定到工具栏方便使用。
    
    
    

• 使用：在浏览器工具栏找到该插件直接点击既可。其他的就自己进去设置使用了哈~~~
  
  

• Ollama WebUI、open-webui【麻烦】。
  需要在docker环境中运行，windows本地docker已经被我搞掉了，只有虚拟机里面才有docker环境。
  虚拟机占用内存，破电脑性能一般般，不打算搞了。这个搞起来也还好，就是拉下镜像运行容器就行了。

• JAN AI【麻烦】：https://jan.ai/ 下载windows版本客户端（开源的）
  1）下载安装后修改下数据存储路径（随便要不要改），修改完重启即可。
  

2）修改ai模型源：
E:\Ollama\JANAI\engines\openai.json
（上一步中的数据存储路径下，找到engines\openai.json进行修改）

{
  "full_url": "http://localhost:11434/v1/chat/completions"
}

3）添加模型配置：记得把里面的注释去掉。
E:\Ollama\JANAI\models\底下创建一个文件夹mine-gemma-7b（名字随便，我把models底下其他的文件夹都挪走备份了，方便管理而已）然后在底下创建个model.json文件

{
    "sources": [
        {
            "filename": "gemma:7b", # 模型名称
            "url": "https://ollama.com/library/gemma:7b" # 模型url
        }
    ],
    "id": "gemma:7b", #模型ID
    "object": "model",
    "name": "mine-gemma:7b",  #显示在jan中模型名称，随便写不影响
    "version": "1.0",
    "description": "ollama本地gemma:7b", #随便写不影响
    "format": "api",
    "settings": {
    },
    "parameters": {
    },
    "metadata": {
        "author": "Meta",
        "tags": [
            "General",
            "Big Context Length"
        ]
    },
    "engine": "openai", # 需要配置
    "state":"ready" # 需要配置
}

上述配置弄完之后重启下jan，然后再hub中就可以看到自己加的模型了，点击use即可使用

断网状态下是可以使用的。