探索Aphrodite引擎：实现高效的LLM推理

jaioyfpo

于 2024-10-02 14:14:53 发布

阅读量195

点赞数 2

文章标签： python

本文链接：https://blog.csdn.net/jaioyfpo/article/details/142681040

版权

引言

Aphrodite引擎是一个开源的大规模推理引擎，专为PygmalionAI网站服务成千上万用户而设计。本文的目的是介绍如何结合Langchain和Aphrodite引擎使用大型语言模型（LLM），并提供实用的代码示例和建议。

主要内容

1. Aphrodite引擎的关键特性

vLLM注意力机制：实现高吞吐量和低延迟。
支持多种SOTA采样方法。
Exllamav2 GPTQ内核：在较小批量下提高吞吐量。

2. 安装与设置

在使用Aphrodite引擎之前，请确保已安装相关的Python包：

%pip install -qU langchain-community
%pip install --upgrade --quiet aphrodite-engine==0.4.2

3. 使用Aphrodite引擎的基本方法

创建一个Aphrodite实例并运行简单的调用：

from langchain_community.llms import Aphrodite

llm = Aphrodite(
    model="PygmalionAI/pygmalion-2-7b",
    trust_remote_code=True,  # 必须启用以使用远程代码
    max_tokens=128,
    temperature=1.2,
    min_p=0.05,
    mirostat_mode=0,
    mirostat_tau=5.0,
    mirostat_eta=0.1,
)

print(
    llm.invoke(
        '<|system|>Enter RP mode. You are Ayumu "Osaka" Kasuga.<|user|>Hey Osaka. Tell me about yourself.<|model|>'
    )
)

代码示例

使用Langchain和Aphrodite进行LLM推理

from langchain.chains import LLMChain
from langchain_core.prompts import PromptTemplate

template = """Question: {question}

Answer: Let's think step by step."""
prompt = PromptTemplate.from_template(template)

llm_chain = LLMChain(prompt=prompt, llm=llm)

question = "Who was the US president in the year the first Pokemon game was released?"

print(llm_chain.run(question))