大模型从入门到应用——LangChain，2024年最新大数据开发开发前景怎么样

最新推荐文章于 2024-09-18 09:05:52 发布

2401_84185224

最新推荐文章于 2024-09-18 09:05:52 发布

阅读量622

点赞数 11

分类专栏： 2024年程序员学习文章标签： langchain 大数据 flask

本文链接：https://blog.csdn.net/2401_84185224/article/details/137520773

版权

2024年程序员学习专栏收录该内容

60 篇文章 0 订阅

订阅专栏

%pip install boto3
from langchain.embeddings import BedrockEmbeddings

embeddings = BedrockEmbeddings(credentials_profile_name=“bedrock-admin”)
embeddings.embed_query(“This is a content of the document”)
embeddings.embed_documents([“This is a content of the document”])

Azure OpenAI

我们加载OpenAI Embedding类，并设置环境变量以指示使用Azure端点。

设置用于 OpenAI 包的环境变量，以指示使用 Azure 端点

import os

os.environ[“OPENAI_API_TYPE”] = “azure”
os.environ[“OPENAI_API_BASE”] = “https://<your-endpoint.openai.azure.com/”
os.environ[“OPENAI_API_KEY”] = “your AzureOpenAI key”
os.environ[“OPENAI_API_VERSION”] = “2023-03-15-preview”
from langchain.embeddings import OpenAIEmbeddings

embeddings = OpenAIEmbeddings(deployment=“your-embeddings-deployment-name”)
text = “This is a test document.”
query_result = embeddings.embed_query(text)
doc_result = embeddings.embed_documents([text])

Cohere

我们加载Cohere Embedding类：

from langchain.embeddings import CohereEmbeddings
embeddings = CohereEmbeddings(cohere_api_key=cohere_api_key)
text = “This is a test document.”
query_result = embeddings.embed_query(text)
doc_result = embeddings.embed_documents([text])

DashScope

我们加载DashScope嵌入类：

from langchain.embeddings import DashScopeEmbeddings
embeddings = DashScopeEmbeddings(model=‘text-embedding-v1’, dashscope_api_key=‘your-dashscope-api-key’)
text = “This is a test document.”
query_result = embeddings.embed_query(text)
print(query_result)
doc_results = embeddings.embed_documents([“foo”])
print(doc_results)

DashScope

我们加载DashScope嵌入类：

Elasticsearch

使用Elasticsearch中托管的嵌入模型生成嵌入的操作步骤。通过下面的方式，可以很容易地实例化ElasticsearchEmbeddings类。如果我们使用的是Elastic Cloud，则可以使用from_credentials构造函数，如果我们使用的是Elasticsearch集群，则可以使用from_es_connection构造函数：

!pip -q install elasticsearch langchain

import elasticsearch
from langchain.embeddings.elasticsearch import ElasticsearchEmbeddings

定义模型 ID

model_id = ‘your_model_id’

如果我们希望使用from_credentials进行测试，那么我们需要Elastic Cloud的cloud_id：

使用凭据实例化 ElasticsearchEmbeddings

embeddings = ElasticsearchEmbeddings.from_credentials(
model_id,
es_cloud_id=‘your_cloud_id’,
es_user=‘your_user’,
es_password=‘your_password’
)

为多个文档创建嵌入

documents = [
‘This is an example document.’,
‘Another example document to generate embeddings for.’
]
document_embeddings = embeddings.embed_documents(documents)

打印文档嵌入

for i, embedding in enumerate(document_embeddings):
print(f"文档 {i+1} 的嵌入：{embedding}")

为单个查询创建嵌入

query = ‘This is a single query.’
query_embedding = embeddings.embed_query(query)

打印查询嵌入

print(f"查询的嵌入：{query_embedding}")

同时，我们可以使用现有的Elasticsearch客户端连接进行测试，这可用于任何Elasticsearch部署：

创建 Elasticsearch 连接

es_connection = Elasticsearch(
hosts=[‘https://es_cluster_url:port’],
basic_auth=(‘user’, ‘password’)
)

使用 es_connection 实例化 ElasticsearchEmbeddings

embeddings = ElasticsearchEmbeddings.from_es_connection(
model_id,
es_connection,
)

为多个文档创建嵌入

documents = [
‘This is an example document.’,
‘Another example document to generate embeddings for.’
]
document_embeddings = embeddings.embed_documents(documents)