[全面掌握Baidu Qianfan：企业开发者的AI利器]

最新推荐文章于 2024-11-08 11:00:39 发布

dsndnwfk

最新推荐文章于 2024-11-08 11:00:39 发布

阅读量670

点赞数 4

文章标签：百度人工智能 python

本文链接：https://blog.csdn.net/dsndnwfk/article/details/142727036

版权

引言

随着AI技术的飞速发展，企业对大模型开发和服务操作平台的需求日益增长。百度的Qianfan平台正满足了这一需求，通过提供一站式的大模型开发和服务操作解决方案，帮助企业开发者便捷地使用和开发大型模型应用。本文将介绍如何在Qianfan平台上结合langchain库，特别是在Completion任务中实现高效开发。

主要内容

Qianfan平台简介

Qianfan平台不仅提供文心一言（ERNIE-Bot）模型，还支持多个第三方开源模型。其优势在于为用户提供了丰富的AI开发工具和完整的开发环境，简化了大模型应用的开发过程。

支持的模型

ERNIE-Bot-turbo（默认）
ERNIE-Bot
BLOOMZ-7B
Llama-2-7b-chat 等

这些模型涵盖了Embedding、Chat、Completion等多种类型，为不同应用场景下的需求提供支持。

API初始化

为了使用Baidu Qianfan的LLM服务，需要初始化API参数。可以选择在环境变量中设置AK和SK：

export QIANFAN_AK=your_ak
export QIANFAN_SK=your_sk

安装所需包

在进行开发前，确保安装了langchain-community包：

%pip install -qU langchain-community

代码示例

以下示例展示了如何使用Qianfan平台结合langchain进行简单的Completion任务：

import os
from langchain_community.llms import QianfanLLMEndpoint

# 设置环境变量
os.environ["QIANFAN_AK"] = "your_ak"
os.environ["QIANFAN_SK"] = "your_sk"

# 初始化LLM端点
llm = QianfanLLMEndpoint(streaming=True) # 使用API代理服务提高访问稳定性
response = llm.invoke("hi")
print(response)

# 测试生成功能
res = llm.generate(prompts=["hello?"])
print(res)

常见问题和解决方案

网络访问限制

由于某些地区的网络限制，开发者可能需要考虑使用API代理服务来提高访问稳定性。
模型参数支持

目前仅支持ERNIE-Bot和ERNIE-Bot-turbo的模型参数，如temperature、top_p等。在未来可能会支持更多模型。

res = llm.generate(
    prompts=["hi"],
    streaming=True,
    **{"top_p": 0.4, "temperature": 0.1, "penalty_score": 1},
)
for r in res:
    print(r)