一起简单说过itellm 支持多种模式的大模型运行，有proxy 模式（可以proxy 模型以及包含api服务的模型接口），也有直接通过python 代码进行访问的，以下是对于ollama 模型的一个简单运行试用

python代码模式

  • appv4.py
    此模式litellm 会自己进行
from litellm import completion
 
response = completion(
  model="ollama/qwen2:1.5b",
  messages=[{ "content": "Hello, how are you?","role": "user"}]
)
 
print(response)
  • 1.
  • 2.
  • 3.
  • 4.
  • 5.
  • 6.
  • 7.
  • 8.

 

response = completion(
  • 1.
  • 效果

litellm ollama python api 模式测试_github

实际api 调用( 通过wireshark 分析的)

litellm ollama python api 模式测试_python_02

说明

litellm ollama python 代码模型的运行也是通过基于ollama 提供的接口调用，只是对于model 格式上有一个比较明确的定义， ollama/qwen2:1.5b 其中ollama 是必须的，属于provider 名称，后边是实际模型的名称

参考资料

 https://docs.litellm.ai/docs/proxy/quick_start
 https://github.com/BerriAI/litellm