初识langchain[1]：Langchain实战教学，利用qwen2.1与GLM-4大模型构建智能解决方案[含Agent]

大耳朵爱学习

于 2024-08-10 10:01:54 发布

阅读量869

点赞数 18

文章标签： langchain 语言模型 AI大模型大语言模型人工智能自然语言处理大模型

本文链接：https://blog.csdn.net/2401_85379281/article/details/141086472

版权

初识langchain[1]：Langchain实战教学，利用qwen2.1与GLM-4大模型构建智能解决方案

1.大模型基础知识

大模型三大重点：算力、数据、算法，ReAct （reason推理+act行动）–思维链

Langchain会把上述流程串起来，通过chain把多个算法模型串联起来
Langchain的 I/O系统，负责输入输出管理【文件形式加载提示词】

LangChain优势

简化开发流程：LangChain提供了一系列组件和接口，帮助开发者快速构建复杂的语言模型应用，无需从零开始编写所有基础代码。这降低了开发门槛，加速了项目部署。
模块化设计：它采用模块化架构，使得模型、提示、索引、代理、记忆等功能组件可以灵活组合，开发者可以根据需要选择合适的组件来定制应用。
与外部系统的集成：LangChain能够方便地与其他系统和数据源集成，比如数据库、向量数据库（如Pinecone）、API等，增强了语言模型在实际业务场景中的应用能力。
提升效率与质量：通过自动化测试用例生成、信息检索优化等特性，LangChain能够提高开发和维护应用的效率，同时保证应用的性能和质量。
社区与生态支持：作为一个开源项目，LangChain拥有活跃的开发者社区，不断贡献新的工具、插件和最佳实践，促进了技术的迭代和应用的创新。

LangChain劣势

学习曲线：尽管LangChain旨在简化开发，但作为一套框架，它仍然有一定的学习成本，尤其是对于初次接触大型语言模型和相关技术栈的开发者。
依赖复杂性：集成多个外部系统和工具可能会增加项目的复杂性，管理这些依赖关系和确保它们之间的兼容性可能成为一项挑战。
性能与资源消耗：大型语言模型本身在处理复杂任务时可能消耗较多计算资源，LangChain虽然提供了优化手段，但在某些应用场景下，资源管理和成本控制仍需精细考虑。
安全性与隐私：与任何涉及敏感信息处理的技术一样，LangChain的应用需要格外注意数据安全和隐私保护，确保符合法规要求并防止数据泄露。
模型定制化限制：虽然LangChain支持与多种大型语言模型集成，但对于模型本身的微调或深度定制支持可能有限，开发者可能需要额外工作来适应特定领域的特殊需求。

所有资料 ⚡️ ，朋友们如果有需要全套《LLM大模型入门+进阶学习资源包》，扫码获取~

👉[CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）]()👈

2.案例实战快速使用langchain

前置工作：
千问：https://www.1goto.ai/article/59f34c00-4a92-4ac8-80a2-15c8064072be
GLM4: https://www.1goto.ai/article/00dcff08-67a5-4f06-866e-28999816ff09
月之暗面：https://www.1goto.ai/article/b6762d97-8445-4d7f-86e6-fb7213801623
百川智能：https://www.1goto.ai/article/d25db68a-74d0-46aa-8653-d8fd757cd0f5
字节扣子：https://www.1goto.ai/article/8a062c5b-86be-4500-8bc7-6d8fa5d52fc2
安装jupyter高效指南教你如何在Linux服务器上部署Jupyter Notebook并实现安全远程访问
提供API相关文档

安装 Langchain SDK：首先需要安装 Langchain 和对应的依赖包，请确保 langchain_community 的版本在 0.0.32 以上。

在这里插入图片描述

2.1 GLM4接入langchain使用(API)为例

进入官网申请：https://open.bigmodel.cn/overview

右上角-点击API密钥

网站引导还是比较清晰的，输入你申请到的api key。

基础使用

使用 Langchain ChatOpenAILangchain 的ChatOpenAI类是对 OpenAI SDK 的封装，可以更方便调用。这里展示了如何使用 ChatOpenAI 类来调用 GLM-4 模型。
在这里插入图片描述

在这里插入图片描述

高级使用（流式输出）

在这里插入图片描述

高级使用(Agent调用)

在这里插入图片描述

我这边因为网络问题，环境信息没有办法获取，详情可以图文的结果。

官方文档-案例

参考链接：https://open.bigmodel.cn/dev/api#openai_sdk

在这里插入图片描述

2.2 OPenAI使用方法

安装 OpenAI SDK：需要确保使用的 Python 版本至少为 3.7.1， OpenAI SDK 版本不低于 1.0.0

在这里插入图片描述

使用 API Key 鉴权：创建 Client，使用您在开放平台的API Key 鉴权。示例如下：

在这里插入图片描述

对话代码示例以下代码是GLM-4的对话调用示例，请注意：

在这里插入图片描述

起名大师

在这里插入图片描述

输出

在这里插入图片描述

格式化输出

在这里插入图片描述

输出

在这里插入图片描述

3，通用大模型-GLM-4介绍

3.0 GLM-4相关信息

模型编码：glm-4-0520、glm-4 、glm-4-air、glm-4-airx、 glm-4-flash，根据输入的自然语言指令完成多种语言类任务，推荐使用 SSE 或异步调用方式请求接口

接口和参数详情参考：https://open.bigmodel.cn/dev/api#glm-4
场景示例

模型广场

官网大模型

网址：https://open.bigmodel.cn/trialcenter

开源 glm-4-9b 简单介绍

网址：https://github.com/THUDM/GLM-4

GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本。在语义、数学、推理、代码和知识等多方面的数据集测评中，GLM-4-9B 及其人类偏好对齐的版本 GLM-4-9B-Chat 均表现出较高的性能。除了能进行多轮对话，GLM-4-9B-Chat 还具备网页浏览、代码执行、自定义工具调用（Function Call）和长文本推理（支持最大 128K 上下文）等高级功能。本代模型增加了多语言支持，支持包括日语，韩语，德语在内的 26 种语言。我们还推出了支持 1M 上下文长度（约 200 万中文字符）的模型。GLM-4-9B 系列模型包括：基础版本 GLM-4-9B（8K）、对话版本 GLM-4-9B-Chat（128K）、超长上下文版本 GLM-4-9B-Chat-1M（1M）和多模态版本 GLM-4V-9B-Chat（8K）。

3.1 同步调用

请求示例：

在这里插入图片描述

Python 调用示例

在这里插入图片描述

3.2 流式调用

请求示例：

在这里插入图片描述

Python 调用示例

在这里插入图片描述

3.3 函数调用

请求示例：

在这里插入图片描述

Python 调用示例

3.4 异步调用

请求示例：

在这里插入图片描述

Python 调用示例

在这里插入图片描述

3.5 任务结果查询

请求示例：

在这里插入图片描述

Python 调用示例

在这里插入图片描述

4.Qwen通义千问

需要调用通义千问或其它灵积模型服务支持的模型API，需要首先开通DashScope灵积模型服务

4.1 开通DashScope灵积模型服务

开通DashScope灵积模型服务

需要在开通DashScope灵积模型服务后，才可以获得API-KEY。开通灵积模型服务请参考以下步骤：访问DashScope管理控制台：前往控制台。

在控制台“总览”页下，单击去开通。
阅读服务协议，确认无误后单击立即开通。

4.2 获取API-KEY

访问DashScope管理控制台API-KEY管理页面：前往API-KEY管理，单击创建新的API-KEY。

系统创建生成API-KEY，并在弹出的对话框中展示，您可以单击复制按钮将API-KEY的内容复制保存。

复制并在安全的地方保存API-KEY后，单击我已保存，关闭。此次创建的API-KEY可立即用于调用DashScope模型服务API，对API-KEY的后续操作均可在当前的API-KEY管理页面进行。

4.3 配置API的方式

在获取到API-KEY后，可在您的业务代码中配置API-KEY值来使用灵积的模型服务。您可以通过以下两种方式进行配置。

方式一：通过环境变量设置API-KEY（推荐）

环境变量是操作系统中用于存储有关系统环境的信息的变量。您可以通过环境变量来配置API-KEY，这样即使您的代码库被公开，API-KEY也不会泄漏。您可以根据您的操作系统与使用场景来确定添加API-KEY到环境变量中的方法。

当您使用Linux系统（如Ubuntu、CentOS等）中的命令行添加API-KEY为环境变量时，可以选择在当前会话添加临时性环境变量，或对当前用户添加永久性环境变量。

在这里插入图片描述

4.4 快速使用

Qwen2 Qwen2是Qwen开源大语言模型的新系列。参数范围包括0.5B到72B，包括Mixture-of-Experts模型。与最先进的开源语言模型（包括之前发布的 Qwen1.5）相比，Qwen2在一系列针对语言理解、语言生成、多语言能力、编码、数学、推理等的基准测试中总体上超越了大多数开源模型，并表现出与专有模型的竞争力。Qwen2增⼤了上下⽂⻓度⽀持，最⾼达到128K tokens（Qwen2-72B-Instruct），能够处理大量输入。

灵积平台上基于Qwen2开源的0.5B、1.5B、7B、72B和57B-A14B MoE模型的instruct版本，并进行了针对性的推理性能优化，为广大开发者提供便捷的API服务。各个版本均对应魔搭社区开源的各个模型版本，详细参考链接。

Qwen1.5 Qwen1.5是Qwen开源系列的下一个版本。与之前的版本相比，Qwen1.5显著提升了聊天模型与人类偏好的一致性，改善了它们的多语言能力，并具备了强大的链接外部系统能力。灵积上提供API服务的是新版本qwen模型的chat版本，在chat能力上大幅提升，即便在英文的MT-Bench上，Qwen1.5-Chat系列也取得了优秀的性能。

灵积平台上提供的0.5B模型、1.8B模型、7B模型、14B模型、32B模型、72B模型和110B模型基于千问开源版本，进行了针对性的推理性能优化，为广大开发者提供便捷的API服务。各个版本均对应魔搭社区开源的各个尺寸的模型版本，详细参考链接。

CodeQwen1.5 CodeQwen1.5是专门针对代码的Qwen1.5版本。与Qwen1.5相比，CodeQwen1.5在大量的代码数据上训练得到。它拥有强大的代码生成能力，在一系列基准测试中展现出不凡的竞争力。其支持92种编程语言，上下文长度可达64K，在SQL生成和bug修复方面均有出色的表现。

灵积平台上提供的7B模型基于千问开源版本，进行了针对性的推理性能优化，为广大开发者提供便捷的API服务。各个版本均对应魔搭社区开源的各个尺寸的模型版本，详细参考链接。

Qwen 通义千问系列模型为阿里云研发的大语言模型。千问模型基于Transformer架构，在超大规模的预训练数据上进行训练得到。预训练数据类型多样，覆盖广泛，包括大量网络文本、专业书籍、代码等。同时，在预训练模型的基础之上，使用对齐机制打造了模型的chat版本。其中千问-1.8B是18亿参数规模的模型，千问-7B是70亿参数规模的模型，千问-14B是140亿参数规模的模型，千问-72B是720亿参数规模的模型。

灵积平台上提供的千问开源模型，进行了针对性的推理性能优化，为广大开发者提供便捷的API服务。其中1.8B模型基于最新在魔搭社区开源的最新版本，7B模型基于最新在魔搭社区上开源的V1.1版本，而14B模型同样基于魔搭社区上最新版本提供， 72B模型基于魔搭社区开源的最新版本提供。

用户以文本和url形式的图片形式输入包含多轮对话历史和当前指令的信息序列（messages），到返回模型生成的回复作为输出。在这一过程中，文本将被转换为语言模型可以处理的token序列。Token是模型用来表示自然语言文本的基本单位，可以直观的理解为“字”或“词”。对于中文文本来说，千问模型的1个token通常对应一个1.5-1.8个汉字；对于英文文本来说，1个token通常对应3至4个字母或1个单词。例如，中文文本“你好，我是通义千问”会被转换成序列[‘你好’, ‘，’, ‘我是’, ‘通’, ‘义’, ‘千’, ‘问’]，而英文文本"Nice to meet you."则会被转换成[‘Nice’, ’ to’, ’ meet’, ’ you’, ‘.’]；图片将按照图片尺寸、图片大小、分辨率不同会转换成不同长度地token序列。

由于模型调用的计算量与token序列长度相关，输入或输出token数量越多，模型的计算时间越长，我们将根据模型输入和输出的token数量计费。可以从API返回结果的 usage 字段中了解到您每次调用时使用的token数量。您也可以使用Token计算器或者调用Token计算API来预估文本对应的token数量。

前提条件
已开通服务并获得API-KEY：API-KEY的获取与配置。
已安装最新版SDK：安装DashScope SDK。
同时DashScope 提供了与OpenAI兼容的接口访问服务，详情参考OpenAI模型接口兼容。

已安装Python3.8及以上版本。请确保安装正确的Python版本，可能需要pip3 install dashscope。      pip install dashscope   #如需更新DashScope SDK包，请执行以下命令。   pip install dashscope --upgrade

常规调用

在这里插入图片描述

使用chain

在这里插入图片描述

使用Agent

在这里插入图片描述

如何学习AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述