【大模型】OLLAMA 本地部署使用 - Windows篇

OLLAMA介绍

        Ollama是一个开源的、轻量级的框架，专为在本地运行大型语言模型（LLM）提供简便易用的解决方案。

      地址：ollama官网

      丰富的模型库： ollama模型库

      github有详细介绍: ollama-github

OLLAMA安装

     下载

windows版本：

 安装

执行下载的安装包

安装完成后任务栏会有相应驻留小图标

view logs 可以查看相关运行日志

注意事项：

        ①、安装包默认安装c盘目录，可以在安装后手动迁移想要的安装目标路径并修改相应快捷方式指向路径到迁移地址；

        ②、模型下载默认位置也是c盘目录，可以通过环境变量配置修改OLLAMA_MODELS="目标位置路径"；

OLLAMA使用

        CMD窗口

        命令介绍

# 启动ollama服务

ollama serve 

 
#从模型文件创建模型

ollama create


# 显示模型信息

ollama show


#运行模型

ollama run 模型名称


#拉取模型

ollama pull 模型名称


#推送模型

ollama push 


# 显示已拉取的模型

ollama list


#模型复制

ollama cp


#模型移除

ollama rm 模型名称

#命令帮助信息
ollama help

获取模型

   ollama模型库

运行命令

默认端口：11434

OLLAMA属性配置

环境变量配置

环境变量是配置Ollama的重要手段之一，通过设置不同的环境变量，用户可以控制Ollama的监听地址、端口、模型存储位置等。以下是一些常用的环境变量及其说明：

1. OLLAMA_HOST：

   • 描述：设置Ollama API的监听地址和端口。
   • 示例：OLLAMA_HOST=0.0.0.0:8080（监听所有IP地址的8080端口）或OLLAMA_HOST=:8000（仅填写端口号，同时监听IPv4和IPv6的8000端口）。

2. OLLAMA_MODELS：

   • 描述：设置模型文件的存放目录。
   • 示例：OLLAMA_MODELS=D:\ollama_models（Windows系统下）。

3. OLLAMA_ORIGINS：

   • 描述：设置HTTP客户端请求的来源，用于跨域访问控制。
   • 示例：OLLAMA_ORIGINS=*（允许所有来源的访问）。

4. OLLAMA_KEEP_ALIVE：

   • 描述：设置模型加载到内存后的存活时间。
   • 示例：OLLAMA_KEEP_ALIVE=300（模型存活300秒）或OLLAMA_KEEP_ALIVE=-1（模型一直存活）。

5. OLLAMA_MAX_LOADED_MODELS：

   • 描述：设置最多同时加载到内存中的模型数量。
   • 示例：OLLAMA_MAX_LOADED_MODELS=2（最多加载2个模型）。

6. OLLAMA_MAX_QUEUE：

   • 描述：设置请求队列的最大长度。
   • 示例：OLLAMA_MAX_QUEUE=1000（队列最大长度为1000）。

7. OLLAMA_NUM_PARALLEL：

   • 描述：设置请求处理的并发数量。
   • 示例：OLLAMA_NUM_PARALLEL=4（同时处理4个并发请求）。

8. OLLAMA_DEBUG：

   • 描述：设置是否输出调试信息。
   • 示例：OLLAMA_DEBUG=1（输出调试信息）。

配置文件调整

除了环境变量外，用户还可以通过修改Ollama的配置文件来调整其运行行为。配置文件的位置和格式可能因Ollama的版本和安装方式而异，但通常包含类似上述环境变量的配置项。用户需要找到对应的配置文件，并按照文件中的说明进行修改。

可以通过Set命令设置 【临时设置环境变量】

可以通过编辑环境变量的形式修改为全局有效