介绍
嵌入技术是一种将高维的离散数据映射到低维连续向量空间的方法。这种映射保留了数据之间的语义关系,使得大模型能过够很容易的理解和处理这些数据。通过嵌入,我们可以把复杂的文本信息转换为计算机可以处理的向量形式。
国内可选择的嵌入模型
ChatGLM的Embedding-v2
from langchain_openai import OpenAIEmbeddings
embeddings = OpenAIEmbeddings(model="Embedding-2")
文心一言的QianfanEmbeddingsEndpoint
from langchain_community.embeddings import QianfanEmbeddingsEndpoint
embeddings = QianfanEmbeddingsEndpoint() # 默认用Embedding-V1模型
通义千问嵌入模型DashScopeEmbeddings
from langchain_community.embeddings import DashScopeEmbeddings
embeddings = DashScopeEmbeddings() # 默认用text-embedding-v1模型
百川嵌入模型BaichuanTextEmbeddings
from langchain_community.embeddings import BaichuanTextEmbeddings
embeddings = BaichuanTextEmbeddings() # 默认使用Baichuan-Text-Embedding模型
星火嵌入模型
from langchain_community.embeddings import SparkLLMTextEmbeddings
embeddings = SparkLLMTextEmbeddings()