在Intel GPU上使用IPEX-LLM进行高效本地BGE嵌入

bhawfgrcbtwny

于 2024-10-03 00:37:27 发布

阅读量152

点赞数 1

文章标签： python

本文链接：https://blog.csdn.net/bhawfgrcbtwny/article/details/142687308

版权

# 引言

在当今以数据为驱动的世界中，嵌入技术在文档问答（QA）、检索增强生成（RAG）等应用中至关重要。这篇文章将为您介绍如何使用LangChain与IPEX-LLM优化在Intel GPU上进行嵌入任务。特别是对于使用Intel Arc系列GPU的用户，这种优化可以显著降低延迟。

# 主要内容

## 安装前准备

为了在Intel GPU上充分利用IPEX-LLM，需要进行几项工具安装和环境准备。根据您的操作系统，遵循以下指南：

- **Windows用户**：更新GPU驱动（可选），并安装Conda。详情请参考[Windows安装指南](https://example.com)。
- **Linux用户**：安装GPU驱动、Intel® oneAPI Base Toolkit 2024.0和Conda。详情请参考[Linux安装指南](https://example.com)。

## 环境配置

在安装完所有先决条件后，创建一个Conda环境并启动Jupyter服务。

```bash
%pip install -qU langchain langchain-community
%pip install --pre --upgrade ipex-llm[xpu] --extra-index-url https://pytorch-extension.intel.com/release-whl/stable/xpu/us/
%pip install sentence-transformers

运行时配置

为获得最佳性能，根据设备设置环境变量：

Windows用户（Intel Core Ultra iGPU）

import os

os.environ["SYCL_CACHE_PERSISTENT"] = "1"
os.environ["BIGDL_LLM_XMX_DISABLED"] = "1"

Windows用户（Intel Arc A系列GPU）

import os

os.environ["SYCL_CACHE_PERSISTENT"] = "1"

基本用法

您可以通过设置device为"xpu"来将嵌入模型放置在Intel GPU上，以利用IPEX-LLM的优化：

from langchain_community.embeddings import IpexLLMBgeEmbeddings

# 使用API代理服务提高访问稳定性
embedding_model = IpexLLMBgeEmbeddings(
    model_name="BAAI/bge-large-en-v1.5",
    model_kwargs={"device": "xpu"},
    encode_kwargs={"normalize_embeddings": True},
)

sentence = "IPEX-LLM是一个在Intel CPU和GPU上运行LLM的PyTorch库。"
query = "什么是IPEX-LLM？"

text_embeddings = embedding_model.embed_documents([sentence, query])
print(f"text_embeddings[0][:10]: {text_embeddings[0][:10]}")
print(f"text_embeddings[1][:10]: {text_embeddings[1][:10]}")

query_embedding = embedding_model.embed_query(query)
print(f"query_embedding[:10]: {query_embedding[:10]}")