高效运行：在Intel CPU和GPU上使用IPEX-LLM管理大语言模型

jaioyfpo

于 2024-10-06 17:03:08 发布

阅读量69

点赞数 4

文章标签：语言模型 python 人工智能

本文链接：https://blog.csdn.net/jaioyfpo/article/details/142729163

版权

# 引言

在处理大语言模型(LLM)的过程中，效率往往是一个关键挑战。Intel推出的IPEX-LLM库，能够在Intel CPU和GPU（如iGPU、Arc、Flex、Max等）上以极低的延迟运行LLM。本文将向您展示如何结合LangChain与IPEX-LLM进行文本生成。

# 主要内容

## 环境设置

首先，我们需要更新LangChain并安装IPEX-LLM。

```bash
%pip install -qU langchain langchain-community
%pip install --pre --upgrade ipex-llm[all]

基本用法

以下Python代码示例展示了如何使用LangChain与IPEX-LLM进行文本生成。

import warnings
from langchain.chains import LLMChain
from langchain_community.llms import IpexLLM
from langchain_core.prompts import PromptTemplate

warnings.filterwarnings("ignore", category=UserWarning, message=".*padding_mask.*")

# 定义一个提示模板
template = "USER: {question}\nASSISTANT:"
prompt = PromptTemplate(template=template, input_variables=["question"])

# 使用IpexLLM加载模型
llm = IpexLLM.from_model_id(
    model_id="lmsys/vicuna-7b-v1.5",
    model_kwargs={"temperature": 0, "max_length": 64, "trust_remote_code": True},
)

# 创建链并执行
llm_chain = prompt | llm
question = "What is AI?"
output = llm_chain.invoke(question)
print("Output:", output)

保存/加载低位模型

低位模型可以大大减少存储空间，并提高加载速度。以下是如何保存和加载低位模型的方法：

# 保存低位模型
saved_lowbit_model_path = "./vicuna-7b-1.5-low-bit"
llm.model.save_low_bit(saved_lowbit_model_path)
del llm

# 从保存的路径加载低位模型
llm_lowbit = IpexLLM.from_model_id_low_bit(
    model_id=saved_lowbit_model_path,
    tokenizer_id="lmsys/vicuna-7b-v1.5",
    model_kwargs={"temperature": 0, "max_length": 64, "trust_remote_code": True},
)

# 使用加载的模型
llm_chain = prompt | llm_lowbit
output = llm_chain.invoke(question)
print("Output with Low-bit Model:", output)