使用LLM API

最新推荐文章于 2025-04-11 09:45:55 发布

shownaier

最新推荐文章于 2025-04-11 09:45:55 发布

阅读量476

点赞数 3

文章标签：人工智能

本文链接：https://blog.csdn.net/weixin_74791337/article/details/137979791

版权

1.获取所要调用大模型的API key等参数，将其保存到 .env 文件中，并将 .env 文件保存在项目根目录下

2.使用代码读取.env 文件

import os

from dotenv import load_dotenv, find_dotenv

# 读取本地/项目的环境变量。

# find_dotenv() 寻找并定位 .env 文件的路径
# load_dotenv() 读取该 .env 文件，并将其中的环境变量加载到当前的运行环境中  
# 如果你设置的是全局的环境变量，这行代码则没有任何作用。
_ = load_dotenv(find_dotenv())

3.调用api

不同模型的调用代码有所不同

调用 API 常会用到的几个参数：

· model，即调用的模型，一般取值包括“gpt-3.5-turbo”（ChatGPT-3.5）、“gpt-3.5-turbo-16k-0613”（ChatGPT-3.5 16K 版本）、“gpt-4”（ChatGPT-4）。注意，不同模型的成本是不一样的。

· messages，即我们的 prompt。ChatCompletion 的 messages 需要传入一个列表，列表中包括多个不同角色的 prompt。我们可以选择的角色一般包括 system：即前文中提到的 system prompt；user：用户输入的 prompt；assistant：助手，一般是模型历史回复，作为提供给模型的参考内容。

· temperature，温度。即前文中提到的 Temperature 系数。

· max_tokens，最大 token 数，即模型输出的最大 token 数。OpenAI 计算 token 数是合并计算 Prompt 和 Completion 的总 token 数，要求总 token 数不能超过模型上限（如默认模型 token 上限为 4096）。因此，如果输入的 prompt 较长，需要设置较大的 max_token 值，否则会报错超出限制长度。