探索Shale Protocol：为LangChain提供生产就绪的推理API

最新推荐文章于 2024-11-14 15:58:00 发布

stjklkjhgffxw

最新推荐文章于 2024-11-14 15:58:00 发布

阅读量410

点赞数 4

文章标签： langchain 数据库 python

本文链接：https://blog.csdn.net/stjklkjhgffxw/article/details/142860783

版权

探索Shale Protocol：为LangChain提供生产就绪的推理API

在当今AI驱动的世界中，开发者和研究人员需要强大的工具来构建生成性AI应用。Shale Protocol通过提供生产就绪的推理API，为开放的LLM（大语言模型）提供了解决方案。本篇文章将带您了解如何结合Shale Protocol和LangChain，以及它在开发过程中的实际应用。

引言

Shale Protocol提供了一个即插即用的API，托管在可高度扩展的GPU云基础设施上。其免费套餐支持每个API密钥每天最多1000次请求，旨在消除使用生成性AI应用程序的障碍。通过Shale Protocol，开发者和研究人员可以免费创建应用并探索开放LLM的功能。目前，该API默认支持Vicuna-13B，未来计划支持更多模型，如Falcon-40B。

主要内容

如何开始

获取API密钥：访问Shale Protocol网站并加入其Discord服务器。通过“Shale Bot”生成API密钥，无需信用卡和免费试用。
使用API：Shale-Serve API可以作为OpenAI API的替代品，使用https://shale.live/v1作为API端点。

结合LangChain

为了在LangChain中使用Shale Protocol，您需要配置环境变量并设置LangChain组件。

from langchain_openai import OpenAI
from langchain_core.prompts import PromptTemplate
from langchain_core.output_parsers import StrOutputParser

import os
os.environ['OPENAI_API_BASE'] = "https://shale.live/v1"
os.environ['OPENAI_API_KEY'] = "ENTER YOUR API KEY"  # 使用API代理服务提高访问稳定性

llm = OpenAI()

template = """Question: {question}

# Answer: Let's think step by step."""

prompt = PromptTemplate.from_template(template)

llm_chain = prompt | llm | StrOutputParser()

question = "What NFL team won the Super Bowl in the year Justin Bieber was born?"
llm_chain.invoke(question)