探索Aphrodite引擎：集成Langchain与LLM的高效方法

最新推荐文章于 2024-09-30 20:38:14 发布

jaioyfpo

最新推荐文章于 2024-09-30 20:38:14 发布

阅读量226

点赞数 4

文章标签： langchain python

本文链接：https://blog.csdn.net/jaioyfpo/article/details/142373068

版权

引言

Aphrodite是一个开源的大规模推理引擎，被用于PygmalionAI网站，支持数千用户的同时使用。本文将介绍如何通过Langchain将Aphrodite引擎与大语言模型（LLM）集成，并提供代码示例帮助您快速上手。

主要内容

Aphrodite引擎简介

Aphrodite引擎利用vLLM的注意力机制，提供了快速的吞吐量和低延迟，并支持多种先进的采样方法。此外，它还使用Exllamav2 GPTQ内核，在较小的批次大小下也能保持良好的吞吐量。

安装和设置

首先，确保已安装aphrodite-engine和langchain-community Python包：

%pip install -qU langchain-community
%pip install --upgrade --quiet aphrodite-engine==0.4.2

代码示例

基本使用方法

下面是如何使用Langchain和Aphrodite引擎的一个简单示例：

from langchain_community.llms import Aphrodite

# 初始化LLM
llm = Aphrodite(
    model="PygmalionAI/pygmalion-2-7b",
    trust_remote_code=True,  # 信任远程代码
    max_tokens=128,
    temperature=1.2,
    min_p=0.05,
    mirostat_mode=0,
    mirostat_tau=5.0,
    mirostat_eta=0.1,
)

# 调用LLM并打印结果
print(
    llm.invoke(
        '<|system|>Enter RP mode. You are Ayumu "Osaka" Kasuga.<|user|>Hey Osaka. Tell me about yourself.<|model|>'
    )
)

与LLMChain集成

将Aphrodite引擎整合到LLMChain中以处理复杂查询：

from langchain.chains import LLMChain
from langchain_core.prompts import PromptTemplate

template = """Question: {question}

Answer: Let's think step by step."""
prompt = PromptTemplate.from_template(template)

llm_chain = LLMChain(prompt=prompt, llm=llm)

question = "Who was the US president in the year the first Pokemon game was released?"

print(llm_chain.run(question))

分布式推理

Aphrodite支持分布式张量并行推理：

from langchain_community.llms import Aphrodite

llm = Aphrodite(
    model="PygmalionAI/mythalion-13b",
    tensor_parallel_size=4,  # 使用4个GPU
    trust_remote_code=True,
)

llm("What is the future of AI?")