大模型开发--文搞懂 LangChain(一):总体介绍

于 2024-08-15 12:15:00 发布
阅读量1.8k 收藏 50
点赞数 18
文章标签： langchain 数据库 人工智能 深度学习 LLM 大模型开发 大语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qingkahui24689/article/details/141186244
版权

本文将从LangChain的本质、Langchain的原理、LangChain的应用三个方面，带您文搞懂 Langchain(-):总体介绍。

LangChain

一、LangChain的本质

Langchain是什么?

LangChain是一个用于开发由 LLM 支持的应用程序的框架。它使应用程序能够：

  • 具有上下文感知能力：将语言模型连接到上下文源（提示说明、few shot examples、响应的内容等）

  • Reason：依靠语言模型进行推理（关于如何根据提供的上下文回答、采取什么操作等）

LangChain Introduction

该框架由几个部分组成。

  • LangChain 库：Python 和 JavaScript 库。包含无数组件的接口和集成、将这些组件组合成链和代理的基本运行时，以及链和代理的现成实现。

  • LangChain 模板：一系列易于部署的参考架构，适用于各种任务。

  • LangServe：用于将 LangChain 链部署为 REST API 的库。

  • LangSmith：一个开发者平台，可让您调试、测试、评估和监控基于任何 LLM 框架构建的链，并与 LangChain 无缝集成。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

LangChain 组成部分

LangChain能干什么？

LangChain的产品共同简化了整个应用程序生命周期：

  • 开发：在 LangChain/LangChain.js 中编写您的应用程序。使用模板作为参考开始运行。

  • Productionize：使用 LangSmith 检查、测试和监控您的链，以便您可以充满信心地不断改进和部署。

  • 部署：使用 LangServe 将任何链转换为 API。

LangChain 几乎可以作为所有 LLM 的通用接口，为构建 LLM 应用程序并将其与外部数据源和软件工作流程集成提供集中式开发环境。Langchain可以简单理解为是 LLM 领域的 Spring。

LangChain vs Spring

LangChain的主要价值：

  • 组件（Components）：用于处理语言模型的可组合工具和集成。无论您是否使用 LangChain 框架的其余部分，组件都是模块化且易于使用的。

  • 现成的链（Off-the-shelf chains）：用于完成更高级别任务的内置组件组合，约定大于配置，让您可以轻松上手。

二、LangChain的原理
LangChain的工作流程:通过分块和向量化数据源，优化LLM的检索与生成过程，实现高效、智能的文本处理。

LangChain的工作流程

  1. 数据分块与向量化：

  • LangChain首先将大型数据源（如50页的PDF文件）分解成小块信息。

  • 这些信息块随后被转换成向量形式，并存储在一个向量存储（Vector Store）中。这个过程称为向量化，它允许信息以数学上可比较和检索的形式存在。

  1. 与LLM的集成：

  • 当用户向基于LangChain的聊天机器人输入提示（prompt）时，系统会在向量存储中查询与提示相关的信息块。

  • 这个查询过程类似于在搜索引擎中搜索关键词，但在这里，它是基于向量的相似度来进行的。

  1. 生成答案：

  • 一旦找到相关信息块，LangChain会将这些信息与原始提示一起提供给LLM。

  • LLM随后利用这些信息来生成针对用户输入的回答或完成文本。

LangChain的核心组件******：******LangChain提供标准的、可扩展的接口和外部集成。

LangChain的核心组件

主要包括以下六个部分：

  • 模型I/O（Model I/O）：负责与语言模型进行交互，处理输入和输出数据。

  • 检索（Retrieval）：从特定数据源检索信息，如数据库或API，为应用提供所需内容。

  • 代理（Agents）：根据高级指令决定使用哪些工具或组件，协调应用内的操作和信息流。

  • 链（Chains）：定义一系列有序步骤以完成特定任务。

  • 内存（Memory）：在LangChain运行间保持应用状态。

  • 回调（Callbacks）：在LangChain的特定步骤触发额外动作，如日志记录或中间步骤的流式传输。

三、LangChain的应用
工具使用(Tool use): LLM 的一个令人兴奋的应用是为其他“工具“构建自然语言接口，无论是AP1、函数、数据库等.

LangChain 非常适合构建此类接口，因为它具有：

  • 良好的模型输出解析，可以轻松从模型输出中提取 JSON、XML、OpenAI 函数调用等。

  • 大量内置工具。

  • 为您如何调用这些工具提供了很大的灵活性。

工具的使用方式主要有两种 :chains和 agents.

方式一：chains 创建预定义的工具使用顺序。

****在这里插入图片描述

chains

方式二：agents 让模型循环使用工具，这样它就可以决定使用工具的次数。

****外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

agents

萃取(Extraction): LLM 的另一个令人兴奋的应用是从原始的 LLM 生成中获得结构化的输出。

假设需要 LLM 使用特定架构进行结构化输出：

  • 提取结构化行以插入数据库

  • 提取API参数

  • 提取用户查询的不同部分（例如，语义搜索与关键字搜索）

LLM 结构化输出

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉[CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）]()👈

功城师
关注
LangChain
AI + 工程
05-08 2171
通常的做法就是直接发给 api 让他总结。但是如果文本超过了 api 最大的 token 限制就会报错。这时，我们一般会进行对文章进行分段，比如通过 tiktoken 计算并分割，然后将各段发送给 api 进行总结，最后将各段的总结再进行一个全部的总结。如果，你用是 LangChain，他很好的帮我们处理了这个过程，使得我们编写代码变的非常简单。
初识langchain[1]：Langchain实战教学，利用qwen2.1与GLM-4大模型构建智能解决方案[含Agent、tavily面向AI搜索]
丨汀、的博客
07-16 881
初识langchain[1]：Langchain实战教学，利用qwen2.1与GLM-4大模型构建智能解决方案[含Agent]
神仙级整理：什么是 Langchain 及其核心概念
2401_84204207的博客
06-16 884
可能大家都想学习AI大模型技术，也想通过这项技能真正达到升职加薪，就业或是副业的目的，但是不知道该如何开始学习，因为网上的资料太多太杂乱了，如果不能系统的学习就相当于是白学。提问：用户提出问题。• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。
LangChain入门指南
热门推荐
lht0909的博客
04-27 3万+
LangChain是一个强大的框架，旨在帮助开发人员使用语言模型构建端到端的应用程序。它提供了一套工具、组件和接口，可简化创建由大型语言模型 (LLM) 和聊天模型提供支持的应用程序的过程。LangChain 可以轻松管理与语言模型的交互，将多个组件链接在一起，并集成额外的资源，例如 API 和数据库。官方文档：https://python.langchain.com/en/latest/
一文搞懂LangChain是什么
最新发布
lvaolan168的博客
08-06 3783
LangChain是一个专门为利用语言模型创建应用程序而设计的全面框架。它的主要目标是帮助开发人员轻松构建基于语言模型的应用。虽然LangChain与多种语言模型兼容，但它特别与OpenAI ChatGPT无缝集成，从中受益于其先进功能。本文学习知识点: 语言模型（LLMs）和LangChain。提示工程。语言模型的内存。语言模型的链式结构。LangChain索引。工具和代理。
一篇文章搞懂LangChain
weixin_40920183的博客
07-09 700
来源：分布式实验室在日常生活中，我们通常致力于构建端到端的应用程序。有许多自动机器学习平台和持续集成/持续交付（CI/CD）流水线可用于自动化我们的机器学习流程。我们还有像 Roboflow 和 Andrew N.G. 的 Landing AI 这样的工具，可以自动化或创建端到端的计算机视觉应用程序。如果我们想要借助 OpenAI 或 Hugging Face 创建基于大语言模型的应用程序，以前我...
九、大模型-LangChain介绍
xiaoqi270620903的专栏
03-27 1053
LangChain 是一个基于大型语言模型（LLM）的编程框架，它允许开发者利用 LLM 构建端到端的应用程序。LangChain 的核心在于将不同的组件“链”在一起，以创建更高级的 LLM 用例。这些组件可能包括提示模板（PromptTemplates）、LLM 模型（如 GPT-3 或 BLOOM）、以及代理（Agents），它们共同工作来实现特定的功能，如聊天机器人、生成式问答、摘要等25678910。
大模型应用框架-LangChain（文末附大模型入门文档）
瓦罗兰特顶级C位的博客
06-24 896
LangChain由 Harrison Chase 创建于2022年10月，它是围绕LLMs（大语言模型）建立的一个框架，LLMs使用机器学习算法和海量数据来分析和理解自然语言，GPT3.5、GPT4是LLMs最先进的代表，国内百度的文心一言、阿里的通义千问也属于LLMs。LangChain自身并不开发LLMs，它的核心理念是为各种LLMs实现通用的接口，把LLMs相关的组件“链接”在一起，简化LLMs应用的开发难度，方便开发者快速地开发复杂的LLMs应用。
大模型从入门到应用——LangChain：模型（Models）-[大型语言模型（LLMs）：缓存LLM的调用结果]
冯·诺依曼
07-24 8719
大型语言模型（LLMs）：缓存LLM的调用结果
langchain[2]：Langchain实战教学,国内大模型LLM选择以及主流大模型快速使用教程[GLM4/Qwen/Baichuan/Coze/Kimi]
丨汀、的博客
07-16 1027
langchain[2]：Langchain实战教学,国内大模型LLM选择以及主流大模型快速使用教程[GLM4/Qwen/Baichuan/Coze/Kimi]
大模型技术学习系列(5): 基于langchain构建RAG应用
u011160113的博客
07-23 966
本章中，我们回归了一下RAG的流程，并分析了下这个过程中涉及到的组件以及这些组件在langchain中对应的实现方式，并整合这些方式，实现了带RAG的大模型应用。通过这个实践过程，能够帮助我们更好的理解RAG的整个过程。
基于huggingface和langchain快速开发大模型应用
coding change your life
08-05 933
的模型仓库已经共享了超过60000个模型，数据集仓库已经共享了超过8000个数据集，基于开源共享的精神，这些资源的使用都是完全免费的。HuggingFace代码库也在快速更新中，HuggingFace开始时以自然语言处理任务为重点，所以HuggingFace大多数的模型和数据集也是自然语言处理方向的，但图像和语音的功能模型正在快速更新中，相信未来逐渐会把图像和语音的功能完善并标准化，如同自然语言处理一样。print("\033[32m 回答：{}\033[0m".format(response))
基于LangChain-Chatchat实现智能问答系统
2301_78234743的博客
05-06 1114
政务方向，直接推组长，流程推进快，有意可私信，官网可见此岗位要求：尽快入职，HC地点优先北京 ，每周。我真绷不住了，快手4/25面之后泡到现在，实在等不及了打电话去问hr，一问说是已经离职了，并且不知道。一面1、自我介绍2、项目介绍、项目亮点3、盒模型4、实现水平垂直居中5、CSS实现三角形6、JS的数。base 地都是上海，美团是到店下面的本地核心商业，做的应该是基建相关的技术，转正率不知道怎么样。又是面的稀烂的一集两个面试官拷打我的项目，话说这不是一面吗主要拷打在压测这一块，看得出来面试官对这块。
用通俗易懂的方式讲解：涨知识了，这篇大模型 LangChain 框架与使用示例太棒了
机器学习社区
01-13 1492
LangChain 中的 Data Connection 将 LLM 与万物互联，给 LangChain 构建的应用带来了无限可能，而 Agent 又为应用开发中非常常见的”事件驱动“这一开发框架提供了偷懒的途径，将分支决策的工作交给 LLM，这又进一步简化了应用开发的工作；结合基于高度抽象的 Model I/O 及 Memory 等组件，LangChain 让开发者能够更快，更好更灵活地实现 LLM 助手、对话机器人等应用，极大地降低了 LLM 的使用门槛。第三方 LLM。
什么是langchain
我在深圳的这些日子的博客
04-25 611
使用Langchain中不同组件的特性和能力，可以构建不同场景下的应用，如聊天机器人、基于文档的问答、知识管理、个人助理、Agent智能体等等。Fake LLM，用于测试缓存的支持，比如 in-mem（内存）、SQLite、Redis、SQL用量记录。Indexes：索引，用来结构化文档，以便和模型交互。Agents：代理，决定模型采取哪些行动，执行并且观察流程，直到完成为止。Prompts：提示，包括提示管理、提示优化和提示序列化。Models：模型，是各种类型的模型和模型集成。
大模型从入门到应用——LangChain：模型（Models）-[大型语言模型（LLMs）：基础知识]
冯·诺依曼
07-20 9069
LLM类是专为与LLM接口设计的类。这很有用，因为模型有一个上下文长度，并且对于更多tokens的成本更高，这意味着我们需要知道传入的文本有多长。[2] LangChain中文网 - LangChain 是一个用于开发由语言模型驱动的应用程序的框架：http://www.cnlangchain.com/》系列文章中，我们将专注于通用的LLM功能，而有关使用特定LLM包装器的详细信息，请参见具体的示例。在本文中，我们将使用OpenAI LLM包装器，其功能对于所有LLM类型都是通用的。
什么是LangChain
ChatGPTer
12-27 987
LangChain 是一个旨在简化使用大型语言模型（LLM）创建应用程序的框架。它提供了许多功能，使与LLM的合作变得更加容易
大模型开发框架 LangChain最全总结系列
ailiandeziwei的专栏
04-11 4188
假如我们想要用 openai api 对一个段文本进行总结，我们通常的做法就是直接发给 api 让他总结。但是如果文本超过了 api 最大的 token 限制就会报错。这时，我们一般会进行对文章进行分段，比如通过 tiktoken 计算并分割，然后将各段发送给 api 进行总结，最后将各段的总结再进行一个全部的总结。LangChain 很好的帮我们处理了这个过程，使得我们编写代码变的非常简单。# 导入os,设置环境变量。导入文本加载器、总结链、文本分割器及OpenAI模型import os。
Langchain
qq_49359895的博客
06-13 4326
LangChain是一个用于开发由大语言模型（Large Language Model）驱动的应用程序的框架。LLM 存在一定局限性，如不能联网搜索以及有限输入长度等。这些限制会成为应用程序中的阻碍。LangChain在此背景下应运而生，来解决这些问题。Langchain官方文档：https://docs.langchain.com/docs/Langchain Python官方文档：https://python.langchain.com/en/latest/index.html。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值