【LLM】Ollama：本地大模型 WebAPI 调用

Ollama 快速部署

• 安装 Docker：从 Docker 官网 下载并安装。

• 部署 Ollama：

  • 使用以下命令进行部署：

    docker run -d -p 11434:11434 --name ollama --restart always ollama/ollama:latest

• 进入容器并下载 qwen2.5:0.5b 模型：

  • 进入 Ollama 容器：

    docker exec -it ollama bash

  • 在容器内下载模型：

    ollama pull qwen2.5:0.5b

Python 环境准备

在开始之前，请确保您已安装 requests 模块。可以通过以下命令安装：

pip install requests

我们还将初始化基本的 API 相关配置，如下所示：

import requests

# 基础初始化设置
base_url = "http://localhost:11434/api"
headers = {
    "Content-Type": "application/json"
}

对话方式

生成文本补全 (Generate a Completion)

• API: /generate

• 功能: 生成指定模型的文本补全。输入提示词后，模型根据提示生成文本结果。

• 请求方法: POST

• Ollama API 参数:

  • model（必填）：模型名称，用于指定生成模型，例如 qwen2.5:0.5b。
  • prompt（必填）：生成文本所用的提示词。
  • suffix（可选）：生成的补全文本之后附加的文本。
  • stream（可选）：是否流式传输响应，默认 true，设置为 false 时返回完整文本。
  • system（可选）：覆盖模型系统信息的字段，影响生成文本风格。
  • temperature（可选）：控制文本生成的随机性，默认值为 1。

  def generate_completion(prompt, model=“qwen2.5:0.5b”):
  url = f"{base_url}/generate"
  data = {
  “model”: model,