LangChain知识记录(第一篇)

介绍

**LangChain是一个用于开发由语言模型驱动的应用程序框架。**它主要由两个能力：

1. 可以将LLM模型与外部数据源进行连接。
2. 允许与LLM模型进行交互。

注：LLM模型：Large Language Model, 大型语言模型

基础功能

LLM调用

• 支持多种模型接口，比如OpenAI，Hugging Face，AzureOpenAI …
• Fake LLM，用于测试
• 缓存的支持：比如：in-mem（内存）、SQLite、Redis、SQL
• 用量记录
• 支持流模式（就是一个字一个字的返回，类似打字效果）

Prompt管理，支持各种自定义模板

拥有大量的文档加载器，比如：Email、Markdown、PDF、Youtubo …

对索引的支持

• 文档分割器
• 向量化
• 对接向量存储与搜索，比如 Chroma、Pinecone、Qdrand

Chains

• LLMChain
• 各种工具Chain
• LangChainHub

必知概念

相信大家看完上面的介绍多半会一脸懵逼。不要担心，上面的概念其实在刚开始学的时候不是很重要，当我们讲完后面的例子后，在回来看上米娜的内容会一下明白很多。
但是，这里有几个概念是必须知道的。

Loader 加载器

顾名思义，这个就是从指定源进行加载数据的。比如：文件夹 DirectoryLoader、Azure存储 AzureBlobStorageContainerLoader、CSV文件 CSVLoader、印象笔记 EverNoteLoader、Google网盘 GoogleDriveLoader、任意的网页 UnstructuredHTMLLoader、PDF PyPDFLoader、S3 S3DirectoryLoader/S3FileLoader、Youtube YoutubeLoader等等，上面知识简单的进行举例几个，官方提供了超级的多的加载器供你使用。
https://python.langchain.com/docs/modules/data_connection/document_loaders.html

Document 文档

当是使用 loader 加载器读取到数据源后，数据源需要转换成 Document 对象后，后续才能进行使用。

Text Spltters 文本分割

顾名思义，文本分割就是用来分割文本的。为什么需要分割文本？因为我们每次不管是做把文本当作 prompt 发给 openai api，还是使用openai api embedding 功能都是有字符限制的。
比如我们将一份300页的 pdf 发给 openai api，让它进行总结，它肯定会报超过最大 Token 错。所以这里就需要使用文本分割器去分割我们 loader 进来的 Document。

Vectorstores 向量数据库

因为数据相关性搜索其实是向量运算。所以，不管我们是使用 openai api embedding 功能还是直接通过向量运算搜索。转换成向量也很简单，只需要我们把数据存储到对应的向量数据库中即可完成向量的转换。
官方页提供了很多的向量数据库供我们使用。
https://python.langchain.com/en/latest/modules/indexes/vectorstores.html

Chain 链

我们可以把 Chain 理解为任务。一个 Chain 就是一个任务，当然也可以像链条一样，一个一个的执行多个链。

Agent 代理

我们可以简单的理解为它可以动态的帮我们选择和调用 chain 或者已有的工具。

Embedding

用于衡量文本的相关性。这个也是 OpenAI API 能实现构建自己知识库的关键所在。
它相比 fine-tuning 最大的优势就是，不用进行训练，并且可以实时添加新的内容，而不用加一次新的内容就训练一次，并且各方面成本要比 fine-tuning 低很多。
具体比较和选择可以参考这个视频：https://www.youtube.com/watch?v=9qq6HTr7Ocw