ollama 在Windows上的部署与使用（实用）

ollama是什么：

    OLLAMA是一个开源框架，专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计。这个框架提供了一套简单的工具和命令，使任何人都可以轻松地启动和使用各种流行的LLM，例如GPT-3、Megatron-Turing NLG和WuDao 2.0。Ollama的主要特点包括简化部署、丰富的模型库、跨平台支持以及灵活的自定义选项。它支持多种操作系统，包括Windows、macOS和Linux，使其能够满足不同用户的需求 

 

开始：

     

        部署OLLAMA框架以运行Llama3等大型语言模型（LLM）的过程主要包括以下几个步骤：

1. 下载和安装OLLAMA：

   对于windows用户，可以直接从OLLAMA官网下载安装包并运行。

2. 下载Llama3模型：

        在OLLAMA中，您可以从提供的模型库中下载所需的模型，例如Llama 3、Llama 3 70B等。          这些模型的大小和参数量各不相同，因此需要的存储空间和计算资源也不同

        如

更改模型保存路径：

        默认的模型保存路径位于C盘空间有限的目录中。如果模型文件较大，可能会导致存储空间不足。更改路径到有更多可用空间的分区或目录可以帮助管理存储空间。

        ollama 默认的模型保存路径如下:：           

     Windows : C:\Users\%username%\.ollama\models

       通过设置环境变量，添加 OLLAMA_MODELS 环境变量，例如 E:\ollama\models,设置完成后重启 ollama 或 PowerShell，即可完成模型位置的迁移，再次加载或拉取模型文件时生效

使用网页api:

       运行

                ollama serve

        如果显示：Error: listen tcp 127.0.0.1:11434: bind: Only one usage of each socket address (protocol/network address/port) is normally permitted.

       运行：

                netstat -ano | findstr :11434

        找到占用端口的进程；

        然后运行 taskkill /PID <PID>，将"<PID>"替换成进程

        显示：

                PS D:\360MoveData\Users\2024-4-18\Desktop> taskkill /PID 16676 /F
成功: 已终止 PID 为 16676 的进程。

可以使用python库调用：

        https://github.com/ollama/ollama-python

完成！