自从ChatGPT发布以来,大型语言模型 (LLMs) 已经获得了很大的普及。尽管你可能没有足够的资金和计算资源在你的地下室从头开始训练一个LLM,但你仍然可以使用预先训练的LLMs来构建一些很酷的东西,例如:
- 可以根据为您的目的而定制的数据聊天机器人
- 与外界进行交互的个人助理分析
- 对您的文档或代码进行汇总
凭借其怪异的api和快速的工程设计,LLMs正在改变我们构建人工智能产品的方式。这就是为什么新的开发工具在 “LLMOpS” 一词下随处可见,其中一个新工具是LangChain(https://github.com/hwchase17/langchain)。
什么是LangChain?
LangChain是一个框架,旨在通过为您提供以下内容来帮助您更轻松地构建LLM支持的应用程序:
- 各种不同基础模型的通用接口 (请参阅模型);
- 帮助您管理提示的框架 (请参阅提示);
- 以及用于LLM无法处理 (例如计算或搜索) 的长期内存 (请参阅内存),外部数据 (请参阅索引),其他LLM (请参阅链) 和其他代理的中央接口。代理)。这是哈里森·蔡斯创建的一个开源项目 (GitHub存储库)。
由于LangChain功能众多,这就是为什么我们将在本文中介绍LangChain目前的六个关键模块,以使您更好地了解其功能。
安装环境
在本教程中,您将需要安装langchain Python软件包,并准备好使用所有相关的API密钥。安装LangChain在安装langchain软件包之前,请确保您的Python版本 ≥ 3.8.1且<4.0。
要安装langchain Python包,您可以pip安装它。
pip install langchain
在本教程中,我们使用的是0.0.147版。GitHub库提交非常活跃; 因此,请确保您拥有当前版本。全部设置完毕后,导入langchain Python包。
import langchain
API keys
使用LLMs构建应用程序需要您要使用的某些服务的API密钥,并且某些API是付费的。
LLM供应商 (必填): 您首先需要使用LLM提供程序的API密钥。我们目前正在经历 “AI的Linux时刻”,开发人员必须基于主要在性能和成本之间的权衡,在专有或开源基础模型之间进行选择。
LLM提供者: 专有和开源基础模型 (作者的图片,灵感来自Fiddler.ai,首次发布在W & B的博客上)
专有模型 是拥有大型专家团队和大型AI预算的公司拥有的封闭式基础模型。它们通常比开源模型更大,因此具有更好的性能,但它们也具有昂贵的api。专有模型提供商的示例是OpenAI,co:here,AI21 Labs或Anthropic。大多数可用的LangChain教程使用OpenAI,但请注意,OpenAI API (对于实验来说并不昂贵,但它) 不是免费的。要获取OpenAI API密钥,您需要一个OpenAI帐户,然后在API密钥下 “创建新的密钥”。
import os
os.environ["OPENAI_API_KEY"] = ... # insert your API_TOKEN here
开源模型通常是较小的模型,其功能比专有模型低,但比专有模型更具成本效益。开源模型的示例包括:
- BLOOM by BigScience
- LLaMA by Meta AI
- Flan-T5 by Google
- GPT-J by Eleuther AI
作为社区中心,许多开源模型都是在Hugging Face组织和托管的。要获得Hugging Face API密钥,您需要一个Hugging Face帐户,并在访问令牌下创建一个 “新令牌”。
import os
os.environ["HUGGINGFACEHUB_API_TOKEN"] = ... # insert your API_TOKEN here
对于开源LLM,您可以免费使用Hugging Face,但是您将被限制在性能较低的较小LLM中。
个人笔记: 您可以在此处尝试开源基础模型。我尝试使本教程仅与托管在常规帐户(google/flan-t5-xl和sentence transformer/all-MiniLM-L6-v2) 上的Hugging Face上的开源模型一起使用。它适用于大多数示例,但是让一些示例起作用也是一种痛苦。最后,我为OpenAI设置了一个付费帐户,因为LangChain的大多数示例似乎都针对OpenAI的API进行了优化。总的来说,为教程运行一些实验花了我大约1美元。
矢量数据库 (可选): 如果要使用特定的矢量数据库,例如Pinecome,Weaviate或Milvus,则需要向他们注册以获取API密钥并确认其定价。在本教程中,我们使用的是Faiss,它不需要注册。
工具 (可选): 根据您希望LLM与之交互的工具 (例如OpenWeatherMap或SerpAPI),您可能需要向它们注册以获取API密钥并检查其定价。在本教程中,我们仅使用不需要API密钥的工具。
我们可以用LangChain做什么?
该软件包为许多基础模型提供了通用接口,可以进行提示管理,并通过代理充当其他组件 (如提示模板,其他LLM,外部数据和其他工具) 的中央接口。在撰写本文时,LangChain (版本0.0.147) 涵盖了六个模块:
- 模型: 从不同的LLMs和嵌入模型中进行选择
- 提示: 管理LLM
- 输入链: 将LLMs与其他组件相结合
- 索引: 访问外部数据
- 存储器: 记住以前的对话
- 代理: 访问其他工具
以下各节中的代码示例是从LangChain文档中复制和修改的。
模型: 从不同的LLM中选择和嵌入模型
目前,许多不同的LLM正在出现。LangChain为各种模型提供了集成,并为所有模型提供了简化的界面。LangChain区分了三种类型的模型,它们的输入和输出不同:
- LLMs将字符串作为输入 (提示),并输出字符串 (完成)。
LLM 模型
- 聊天模型类似于LLM。他们将聊天消息列表作为输入,并返回聊天消息。
- 文本嵌入模型采用文本输入并返回浮点数 (嵌入) 列表,浮点数是输入文本的数字表示形式。嵌入有助于从文本中提取信息。随后可以使用该信息,例如,用于计算文本之间的相似性 (例如,电影摘要)。
文本嵌入模型
提示: 管理LLM输入
LLM有怪异的api。尽管用自然语言向LLM输入提示应该感觉很直观,但在从LLM获得所需的输出之前,需要对提示进行大量调整。这个过程称为提示工程。一旦有了好的提示,您可能希望将其用作其他目的的模板。因此,LangChain为您提供了所谓的提示模板,可帮助您从多个组件构建提示。
上面的提示可以看作是Zero-shot Learning(零射击学习是一种设置,模型可以学习识别以前在训练中没有明确看到的事物),您希望LLM在足够的相关数据上进行了训练,以提供令人满意的结果。改善LLM输出的另一个技巧是在提示中添加一些示例,并使其成为一些问题设置。
上面的代码将生成一个提示模板,并根据提供的示例和输入组成以下提示:
Chain: 将LLMs与其他组件组合
在LangChain中Chain简单地描述了将LLMs与其他组件组合以创建应用程序的过程。一些示例是: 将LLM与提示模板组合 (请参阅本节),通过将第一个LLM的输出作为第二个LLM的输入来顺序组合多个LLM (请参阅本节),将LLM与外部数据组合,例如,对于问题回答 (请参阅索引),将LLM与长期记忆相结合,例如,对于上一节中的聊天记录 (请参阅内存),我们创建了一个提示模板。当我们想将其与我们的LLM一起使用时,我们可以使用LLMChain,如下所示:
如果我们想使用这个第一个LLM的输出作为第二个LLM的输入,我们可以使用一个SimpleSequentialChain:
from langchain.chains import LLMChain, SimpleSequentialChain
# Define the first chain as in the previous code example
# ...
# Create a second chain with a prompt template and an LLM
second_prompt = PromptTemplate(
input_variables=["company_name"],
template="Write a catchphrase for the following company: {company_name}",
)
chain_two = LLMChain(llm=llm, prompt=second_prompt)
# Combine the first and the second chain
overall_chain = SimpleSequentialChain(chains=[chain, chain_two], verbose=True)
# Run the chain specifying only the input variable for the first chain.
catchphrase = overall_chain.run("colorful socks")
结果示例
索引:访问外部数据
LLM的一个限制是它们缺乏上下文信息 (例如,访问某些特定文档或电子邮件)。您可以通过允许LLMs访问特定的外部数据来解决此问题。为此,您首先需要使用文档加载器加载外部数据。LangChain为不同类型的文档提供了各种加载程序,从pdf和电子邮件到网站和YouTube视频。让我们从YouTube视频中加载一些外部数据。如果你想加载一个大的文本文档并用文本拆分器拆分它,你可以参考官方文档。
# pip install youtube-transcript-api
# pip install pytube
from langchain.document_loaders import YoutubeLoader
loader = YoutubeLoader.from_youtube_url("https://www.youtube.com/watch?v=dQw4w9WgXcQ")
documents = loader.load()
现在,您已经准备好外部数据作为文档,您可以使用矢量数据库 (VectorStore) 中的文本嵌入模型 (请参阅模型) 对其进行索引。流行的矢量数据库包括Pinecone,weavviate和Milvus。在本文中,我们使用的是Faiss,因为它不需要API密钥。
您的文档 (在本例中为视频) 现在作为嵌入存储在矢量存储中。现在你可以用这个外部数据做各种各样的事情。让我们将其用于带有信息寻回器的问答任务:
结果示例
存储器: 记住先前的对话
对于像聊天机器人这样的应用程序来说,他们能够记住以前的对话是至关重要的。但是默认情况下,LLMs没有任何长期记忆,除非您输入聊天记录。
有无记忆的聊天机器人的对比
LangChain通过提供处理聊天记录的几种不同选项来解决此问题:
- 保留所有对话
- 保留最新的k对话
- 总结对话
在这个例子中,我们将使用ConversationChain作为这个应用程序会话内存。
这将生成上图中的右手对话。如果没有ConversationChain来保持对话记忆,对话将看起来像上图中左侧的对话。
代理: 访问其他工具
尽管LLMs非常强大,但仍有一些局限性: 它们缺乏上下文信息 (例如,访问训练数据中未包含的特定知识),它们可能很快就会过时 (例如,GPT-4在2021年9月之前就接受了数据培训),并且他们不擅长数学。
因为LLM可能会对自己无法完成的任务产生幻觉,所以我们需要让他们访问补充工具,例如搜索 (例如Google搜索),计算器 (例如Python REPL或Wolfram Alpha) 和查找 (例如,维基百科)。此外,我们需要代理根据LLM的输出来决定使用哪些工具来完成任务。
请注意,某些LLM(例如google/flan-t5-xl) 不适用于以下示例,因为它们不遵循会话-反应-描述模板。对我来说,这是我在OpenAI上设置付费帐户并切换到OpenAI API的原因。
下面是一个例子,代理人首先用维基百科查找奥巴马的出生日期,然后用计算器计算他2022年的年龄。
结果图片
总结
就在几个月前,我们所有人 (或至少我们大多数人) 都对ChatGPT的功能印象深刻。现在,像LangChain这样的新开发人员工具使我们能够在几个小时内在笔记本电脑上构建同样令人印象深刻的原型–这是一些真正令人兴奋的时刻!
LangChain是一个开源的Python库,它使任何可以编写代码的人都可以构建以LLM为动力的应用程序。该软件包为许多基础模型提供了通用接口,可以进行提示管理,并在撰写本文时通过代理充当其他组件 (如提示模板,其他LLM,外部数据和其他工具) 的中央接口。该库提供了比本文中提到的更多的功能。以目前的发展速度,这篇文章也可能在一个月内过时。
在撰写本文时,我注意到库和文档围绕OpenAI的API展开。尽管许多示例与开源基础模型google/flan-t5-xl一起使用,但我在两者之间选择了OpenAI API。尽管不是免费的,但在本文中尝试OpenAI API只花了我大约1美元。
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。