利用Upstage Embeddings开启文本嵌入之旅

最新推荐文章于 2024-10-03 09:02:12 发布

mmlihaio

最新推荐文章于 2024-10-03 09:02:12 发布

阅读量278

点赞数 5

文章标签： python

本文链接：https://blog.csdn.net/mmlihaio/article/details/142384521

版权

# 引言

文本嵌入技术是自然语言处理中的重要组成部分，能够将文本转换为向量以供机器学习模型处理。在这篇文章中，我们将介绍如何使用Upstage的嵌入模型进行文本嵌入，以助力你的AI项目。

# 主要内容

## 安装

首先，安装`langchain-upstage`包：

```bash
pip install -U langchain-upstage

环境配置

请确保设置以下环境变量，以便能够访问Upstage API：

import os

os.environ["UPSTAGE_API_KEY"] = "YOUR_API_KEY"

使用方法

初始化

创建UpstageEmbeddings类的实例：

from langchain_upstage import UpstageEmbeddings

embeddings = UpstageEmbeddings(model="solar-embedding-1-large")

嵌入文档

使用embed_documents方法嵌入文本或文档列表：

doc_result = embeddings.embed_documents(
    ["Sung is a professor.", "This is another document"]
)
print(doc_result)

嵌入查询

使用embed_query方法嵌入查询字符串：

query_result = embeddings.embed_query("What does Sung do?")
print(query_result)

异步嵌入

对于异步操作，使用aembed_documents和aembed_query方法：

# async embed query
await embeddings.aembed_query("My query to look up")

# async embed documents
await embeddings.aembed_documents(
    ["This is a content of the document", "This is another document"]
)

与向量存储结合使用

UpstageEmbeddings可以与向量存储组件结合使用：

from langchain_community.vectorstores import DocArrayInMemorySearch

vectorstore = DocArrayInMemorySearch.from_texts(
    ["harrison worked at kensho", "bears like to eat honey"],
    embedding=UpstageEmbeddings(model="solar-embedding-1-large"),
)
retriever = vectorstore.as_retriever()
docs = retriever.invoke("Where did Harrison work?")
print(docs)