[用IPEX-LLM提升Intel GPU上的本地BGE嵌入性能，轻松应对机器学习挑战]

dfvcbipanjr

于 2024-10-07 00:21:24 发布

阅读量174

点赞数 3

文章标签：机器学习人工智能 python

本文链接：https://blog.csdn.net/dfvcbipanjr/article/details/142734024

版权

# 用IPEX-LLM提升Intel GPU上的本地BGE嵌入性能，轻松应对机器学习挑战

## 引言

在现代机器学习应用中，嵌入是实现信息检索、问答系统等任务的关键技术。使用Intel GPU与IPEX-LLM优化，可以显著降低延迟，提高嵌入的执行效率。本文将介绍如何在Intel GPU上利用LangChain和IPEX-LLM进行嵌入任务。

## 主要内容

### 安装前的准备

要在Intel GPU上高效运行IPEX-LLM，需要进行一些准备工作：

- **Windows用户：** 请访问[安装指南](https://example.com)并更新GPU驱动（可选）与安装Conda。
- **Linux用户：** 请遵循[安装指南](https://example.com)进行GPU驱动、一体化工具包和Conda的安装。

### 安装与设置

完成准备工作后，按照以下步骤配置环境：

1. 创建一个Conda环境并启动Jupyter服务：

    ```bash
    %pip install -qU langchain langchain-community
    ```

2. 安装IPEX-LLM和`sentence-transformers`：

    ```bash
    %pip install --pre --upgrade ipex-llm[xpu] --extra-index-url https://pytorch-extension.intel.com/release-whl/stable/xpu/us/
    %pip install sentence-transformers
    ```

3. 设置运行时配置以优化性能：

    - **Intel Core Ultra集成GPU用户：**

    ```python
    import os
    os.environ["SYCL_CACHE_PERSISTENT"] = "1"
    os.environ["BIGDL_LLM_XMX_DISABLED"] = "1"
    ```

    - **Intel Arc A-Series GPU用户：**

    ```python
    import os
    os.environ["SYCL_CACHE_PERSISTENT"] = "1"
    ```

### 基础用法

在初始化`IpexLLMBgeEmbeddings`时，设置`device`为`"xpu"`，将模型部署到Intel GPU：

```python
from langchain_community.embeddings import IpexLLMBgeEmbeddings

embedding_model = IpexLLMBgeEmbeddings(
    model_name="BAAI/bge-large-en-v1.5",
    model_kwargs={"device": "xpu"},
    encode_kwargs={"normalize_embeddings": True},
)

代码示例

以下示例展示了如何嵌入文档和查询：

sentence = "IPEX-LLM is a PyTorch library for running LLM on Intel CPU and GPU with very low latency."
query = "What is IPEX-LLM?"

text_embeddings = embedding_model.embed_documents([sentence, query])
print(f"text_embeddings[0][:10]: {text_embeddings[0][:10]}")
print(f"text_embeddings[1][:10]: {text_embeddings[1][:10]}")

query_embedding = embedding_model.embed_query(query)
print(f"query_embedding[:10]: {query_embedding[:10]}")