使用huggingface的text embedding models

hehui0921

已于 2024-02-27 16:20:53 修改

阅读量3.8k

点赞数 1

分类专栏： LangChain huggingface 文章标签： embedding

于 2024-02-27 16:05:23 首次发布

本文链接：https://blog.csdn.net/oHeHui1/article/details/136323326

版权

文章展示了如何使用fromlangchain库中的功能，如HuggingFaceEmbeddings进行文本嵌入、FAISS进行向量存储和检索，以及Tongyi模型进行问答。它演示了从网页抓取文档、创建索引、查询和生成答案的过程，以及切换到all-MiniLM-L6-v2模型的示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser
from langchain_community.vectorstores import FAISS
from langchain_community.llms import Tongyi
from langchain_core.runnables import RunnableParallel, RunnablePassthrough
from langchain_community.embeddings import HuggingFaceEmbeddings
import os
import time
os.environ["DASHSCOPE_API_KEY"] = "sk-cc1c8314fdbd43ceaf26ec1824d5dd3b"
llm = Tongyi()

from langchain_community.document_loaders import UnstructuredURLLoader

embeddings = HuggingFaceEmbeddings()

# 记录开始时间
start_time = time.time()
text = "This is a test document."

query_result = embeddings.embed_query(text)

end_time = time.time()
# 计算并打印函数执行时间
execution_time = end_time - start_time
print(f"函数执行时间: {
     execution_time} 秒"