本地部署google大模型并编写程序调用流式输出

ollama

本地安装ollama

gemma

下载并部署模型 本机资源有限，可以下个2b的相对较小的模型
执行命令

 ollama run gemma:2b

客户端调用

import requests
import json

data = {
  "model": "gemma:2b",
  "messages": [
    { "role": "user", "content": "hi, who are you?" }
  ]
}

response = requests.post('http://localhost:11434/api/chat', json=data,stream=True)

result = ''
for line in response.iter_lines():
    if line:
        json_data = json.loads(line)
        content = json_data.get('message', {}).get('content', '')
        print(content, end='')
        

输出：