快速入门！在Intel CPU上使用IPEX-LLM进行本地BGE嵌入

快速入门！在Intel CPU上使用IPEX-LLM进行本地BGE嵌入

引言

在人工智能领域，嵌入（Embedding）技术被广泛应用于各种任务，如文档问答和检索增强生成（RAG）。借助Intel的IPEX-LLM库，我们可以在Intel CPU及GPU上高效运行大语言模型（LLM）。本文将介绍如何使用LangChain结合IPEX-LLM优化技术，在Intel CPU上完成嵌入任务。

主要内容

安装配置

我们首先需要安装必要的库，包括LangChain、IPEX-LLM和Sentence Transformers。以下是安装命令：

# 安装LangChain和LangChain社区扩展
%pip install -qU langchain langchain-community

# 安装IPEX-LLM及其优化组件
%pip install --pre --upgrade ipex-llm[all] --extra-index-url https://download.pytorch.org/whl/cpu

# 安装Sentence Transformers
%pip install sentence-transformers

注意: 如果你是Windows用户，安装IPEX-LLM时不需要使用额外的索引URL。

基础使用

接下来，我们看看如何使用LangChain的IpexLLMBgeEmbeddings类来实现文本嵌入：