使用ExLlamaV2在现代消费级GPU上高效运行大型语言模型

aehrutktrjk

于 2024-10-06 16:05:59 发布

阅读量197

点赞数 2

文章标签：语言模型人工智能自然语言处理 python

本文链接：https://blog.csdn.net/aehrutktrjk/article/details/142728238

版权

引言

随着人工智能技术的发展，越来越多的开发者希望在本地运行大型语言模型（LLM），而不依赖云环境。ExLlamaV2是一个高效的推理库，它允许用户在现代消费级GPU上本地运行GPTQ和EXL2量化模型。本篇文章将介绍如何在LangChain中使用ExLlamaV2，以及提供相关的代码示例。

主要内容

安装

要开始使用ExLlamaV2，您需要满足以下环境需求：

Python 3.11
LangChain 0.1.7
CUDA: 12.1.0
Torch: 2.1.1+cu121
ExLlamaV2: 0.0.12+cu121

如果使用pip安装，可以使用以下命令：

pip install https://github.com/turboderp/exllamav2/releases/download/v0.0.12/exllamav2-0.0.12+cu121-cp311-cp311-linux_x86_64.whl

对于使用Conda的用户，依赖如下：

conda-forge::ninja
nvidia/label/cuda-12.1.0::cuda
conda-forge::ffmpeg
conda-forge::gxx=11.4

使用概述

ExLlamaV2允许用户在本地运行LLM，因此不需要API_TOKEN。选择适合的模型至关重要，您可以在Hugging Face上找到模型的RAM需求。以下是一个本地运行模型的代码示例。

代码示例

import os
from huggingface_hub import snapshot_download
from langchain_community.llms.exllamav2 import ExLlamaV2
from langchain_core.callbacks import StreamingStdOutCallbackHandler
from langchain_core.prompts import PromptTemplate
from libs.langchain.langchain.chains.llm import LLMChain

def download_GPTQ_model(model_name: str, models_dir: str = "./models/") -> str:
    """下载指定模型"""
    if not os.path.exists(models_dir):
        os.makedirs(models_dir)

    _model_name = model_name.split("/")
    _model_name = "_".join(_model_name)
    model_path = os.path.join(models_dir, _model_name)
    if _model_name not in os.listdir(models_dir):
        snapshot_download(
            repo_id=model_name, local_dir=model_path, local_dir_use_symlinks=False
        )
    else:
        print(f"{model_name} 已在模型目录中")

    return model_path

settings = ExLlamaV2Sampler.Settings()
settings.temperature = 0.85
settings.top_k = 50
settings.top_p = 0.8
settings.token_repetition_penalty = 1.05

model_path = download_GPTQ_model("TheBloke/Mistral-7B-Instruct-v0.2-GPTQ")

callbacks = [StreamingStdOutCallbackHandler()]

template = """Question: {question}

Answer: Let's think step by step."""

prompt = PromptTemplate(template=template, input_variables=["question"])

llm = ExLlamaV2(
    model_path=model_path,
    callbacks=callbacks,
    verbose=True,
    settings=settings,
    streaming=True,
    max_new_tokens=150,
)

llm_chain = LLMChain(prompt=prompt, llm=llm)

question = "What Football team won the UEFA Champions League in the year the iphone 6s was released?"
output = llm_chain.invoke({"question": question})
print(output)