关于计费我以前简单介绍过，可以通过ui 配置，同时对于计费费用可以使用api 获取，实际上我们可以直接通过api 创建模型的时候进行自定义计费配置，以下是一个简单说明

参考api

  • 定义

litellm ollama 通过proxy api 进行模型创建以及自定义计费_参考资料

  • 使用
    通过curl 模式，注意此数据实际会存储到db 中，注意配置文件中关于db 信息的添加
curl -X 'POST' \
  'http://0.0.0.0:4000/model/new' \
  -H 'accept: application/json' \
  -H 'API-Key: sk-1234' \
  -H 'Content-Type: application/json' \
  -d '{
  "model_name": "dalongdemov3",
  "litellm_params": {
    "api_key": "demo",
    "api_base": "http://localhost:11434",
    "input_cost_per_token": 1,
    "output_cost_per_token": 1,
    "input_cost_per_second": 1,
    "output_cost_per_second": 1,
    "model": "ollama/qwen2:7b"
  }
}'
  • 1.
  • 2.
  • 3.
  • 4.
  • 5.
  • 6.
  • 7.
  • 8.
  • 9.
  • 10.
  • 11.
  • 12.
  • 13.
  • 14.
  • 15.
  • 16.
  • 17.
'http://0.0.0.0:4000/model/new' \
  • 1.
  • 效果

litellm ollama 通过proxy api 进行模型创建以及自定义计费_配置文件_02

说明

目前api 设计的实际有些参数传递了反而会有问题，以上是测试通过的一个

参考资料

 https://docs.litellm.ai/docs/