LLM应用如何快速落地？通过Langchain接入千帆SDK_对接通义千问llm

本文链接：https://blog.csdn.net/python1234567_/article/details/140081339

百度智能云千帆大模型平台再次史诗级升级！在原有API基础上，百度智能云正式上线Python SDK（下文均简称千帆 SDK）版本并全面开源，企业和开发者可免费下载使用！千帆SDK全面覆盖从数据集管理，模型训练，模型评估，到服务部署等方面的功能，我们可基于千帆SDK通过代码接入并调用百度智能云千帆大模型平台的能力，轻松实现LLMOps全流程的落地，快速构建自己的大语言模型应用。

一、SDK的优势

SDK当前主要的价值在于可快速使用API能力，并完善API使用的周边工具链，同时提供cookbook用于实践。
1、快速使用API能力，不需要自己实现http客户端以及鉴权逻辑；并在此基础上做了可配置重试，流量控制，提升了API功能的使用体验。
2、结合实际的案例和应用场景提供了响应的cookbook，帮助我们快速上手，甚至复用大部分已实现代码。
3、拓展了LLM应用的基础能力，例如结合LLM应用层常见的Agent等概念进行了封装，提供了基于Agent的应用模板类，极大的方便了我们开发。

二、千帆SDK：快速落地LLM应用

千帆SDK支持对话补全、续写补全、语义向量、插件、文生图等一系列功能，帮助我们轻松完成应用开发。

对话补全（ChatCompletion） ：对话模型是语言模型的一种变体。虽然在内部使用了语言模型，但它们所提供的接口有些不同。适用于对话生成，智能问答等场景。
续写补全（Completion） ：语言模型提供了基本的续写能力，结合丰富的训练语料，非常适合我们进行文档报告编写，内容创作等场景。
语义向量（Embedding） ：百度智能云千帆大模型平台在提供大模型对话续写能力的同时，应对于常见的文本检索，知识库查询等场景，也推出了文本转化成向量的能力。
插件应用（Plugin） ：为了填补大模型对于获取实时信息，多模态，垂直领域知识问答等场景的能力空白，百度智能云千帆大模型平台推出了常用的几种插件应用，包括百度搜索，知识库，天气查询，智慧图问等几个插件应用。我们可以通过大模型的决策能力进行问答文本到插件应用调用的转化，也可以直接调用插件应用以获取相应的数据。
文生图（Text2Image） ：基于开源的StableDiffusion等开源多模态大模型的基础上，百度智能云千帆大模型平台推出了一系列预置的文生图模型，我们也可以通过SDK快速调用，进行图文创作。

三、如何快速上手千帆SDK

百度智能云千帆大模型平台为我们提供了详细的操作手册，包括SDK快速启动、大模型开发基础功能快速入门和Langchain接入方法，我们可以通过以下步骤更加快速的使用千帆SDK。

1、SDK快速启动

在该模块，我们通过必要快速上手步骤，以及以Chat对话为调用示例，介绍了如何快速进入LLM的应用开发。

快速安装
目前千帆SDK已发布到PyPI，我们可使用pip命令进行安装。安装千帆SDK需要3.7.0或更高的Python版本。
在这里插入图片描述

平台鉴权
千帆SDK基于百度智能云千帆大模型平台对我们提供能力，因此在使用前需要用户使用平台指定的鉴权方式进行初始化。

如何获取AK/SK
我们可首先进行应用接入，获得AK/SK。
获取到AK和SK后，用户还需要传递它们来初始化千帆SDK，支持如下两种方式，按优先级从低到高排序：
在这里插入图片描述
以“Chat 对话”为调用示例
我们只需要提供预期使用的模型名称和对话内容，即可调用百度智能云千帆大模型平台支持的包括ERNIE-Bot在内的所有预置模型，如下所示：

2. SDK进阶指引

对于对模型有微调训练需求的用户，千帆SDK提供了模型训练和管理的能力。

大模型训练：百度智能云千帆大模型平台提供了高性能的训练，模型微调能力，可以快速的进行训练任务下发和管理。
大模型管理：主要用于自定义模型的管理和发布。
大模型服务：千帆平台提供了基础的大模型运行环境，用户可以一键式发布自己的模型服务。

3. 通过Langchain接入千帆SDK

为什么选择Langchain？
Langchain是可以帮助用户快速构建从原型到生产的LLM应用的框架。其封装了包括LLM，Embedding，Chain，Agent，Tool等一系列抽象的LLM应用组件，在其开源社区成员的不断贡献下集成了当前大部分主流的大语言模型等调用方法，是当前非常流行的开源大模型框架。它开发效率高，资源配套完善，拥有大量用户。现在，用户可以在langchain中通过千帆SDK接入并使用百度智能云千帆大模型平台的训练等一系列能力，让应用场景开发更轻松、更便捷。

在这里插入图片描述
开源社区
千帆SDK已经开源到Github，并将持续更新迭代，可以关注订阅开始做自己的大模型应用了。

GIthub Repo：
https://github.com/baidubce/bce-qianfan-sdk
千帆社区：
https://cloud.baidu.com/qianfandev

大家快体验一下！史诗级升级！

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

大模型 AI 能干什么？
大模型是怎样获得「智能」的？
用好 AI 的核心心法
大模型应用业务架构
大模型应用技术架构
代码示例：向 GPT-3.5 灌入新知识
提示工程的意义和核心思想
Prompt 典型构成
指令调优方法论
思维链和思维树
Prompt 攻击和防范
…

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

为什么要做 RAG
搭建一个简单的 ChatPDF
检索的基础概念
什么是向量表示（Embeddings）
向量数据库与向量检索
基于向量检索的 RAG
搭建 RAG 系统的扩展知识
混合检索与 RAG-Fusion 简介
向量模型本地部署
…

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

为什么要做 RAG
什么是模型
什么是模型训练
求解器 & 损失函数简介
小实验2：手写一个简单的神经网络并训练它
什么是训练/预训练/微调/轻量化微调
Transformer结构简介
轻量化微调
实验数据集的构建
…

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

硬件选型
带你了解全球大模型
使用国产大模型服务
搭建 OpenAI 代理
热身：基于阿里云 PAI 部署 Stable Diffusion
在本地计算机运行大模型
大模型的私有化部署
基于 vLLM 部署大模型
案例：如何优雅地在阿里云私有部署开源大模型
部署一套开源 LLM 项目
内容安全
互联网信息服务算法备案
…

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。