Model I/O
在LangChain中,
Model I/O
被称为:模型的输入与输出
,其有输入提示(Format)
、调用模型(Predict)
、输出解析(Parse)
等三部分组成。
1.提示模板: LangChain的模板允许动态选择输入,根据实际需求调整输入内容,适用于各种特定任务和应用。
2.语言模型: LangChain 提供通用接口调用不同类型的语言模型,提升了灵活性和使用便利性。
3.输出解析: 利用 LangChain 的输出解析功能,精准提取模型输出中所需信息,避免处理冗余数据,同时将非结构化文本转换为可处理的结构化数据,提高信息处理效率。
提示模板
在LangChain的Model I/O中,提示模板是其组成之一,这里也主要申明记录
提示模板(Format)
的使用。
概述
语言模型的提示是用户提供的一组指令或输入,用于指导模型的响应,帮助模型理解上下文并生成相关且连贯的基于语言的输出,例如回答问题、完成句子或参与某项活动、对话。
“提示”指的是模型的输入,这个输入很少是硬编码的,而是通常从多个组件构建而成的,恰哈提示模板就是负责构建这个输入的。
LangChain提示模板特点:
1.清晰易懂的提示: 提高提示文本的可读性,使其更易于理解,尤其是在处理复杂或涉及多个变量的情况下。
2.增强可重用性: 使用模板,可以在多个地方重复使用,简化代码,无需重复构建提示字符串。
3.简化维护: 使用模板后,如果需要更改提示内容,只需修改模板,无需逐个查找所有用到该提示的地方。
4.智能处理变量: 模板可以自动处理变量的插入,无需手动拼接字符串。
5.参数化生成: 模板可以根据不同的参数生成不同的提示,有助于个性化文本生成。
类型
在LangChain中,可以看到以下类型的提示模板:
1.LLM提示模板 PromptTemplate:常用的String提示模板
2.聊天提示模板 ChatPromptTemplate: 常用的Chat提示模板,用于组合各种角色的消息模板,传入聊天模型。
消息模板包括:ChatMessagePromptTemplate、HumanMessagePromptTemplate、AIlMessagePromptTemplate SystemMessagePromptTemplate等
3.样本提示模板 FewShotPromptTemplate:通过示例来教模型如何回答
4.部分格式化提示模板:提示模板传入所需值的子集,以创建仅期望剩余值子集的新提示模板。
5.管道提示模板 PipelinePrompt: 用于把几个提示组合在一起使用。
6.自定义模板:允许基于其他模板类来定制自己的提示模板。
模板导入方式如下:
from langchain.prompts.prompt import PromptTemplate
from langchain.prompts import FewShotPromptTemplate
from langchain.prompts.pipeline import PipelinePromptTemplate
from langchain.prompts import ChatPromptTemplate
from langchain.prompts import (
ChatMessagePromptTemplate,
SystemMessagePromptTemplate,
AIMessagePromptTemplate,
HumanMessagePromptTemplate,
)
设置环境变量
import os
os.environ["OPENAI_BASE_URL"] = "https://xxx.com/v1"
os.environ["OPENAI_API_KEY"] = "sk-fDqouTlU62yjkBhF46284543Dc8f42438a9529Df74B4Ce65"
PromptTemplate提示模板
创建提示模板
创建一个PromptTemplate提示模板,有2种方式来创建。
1.通过from_template方法从字符串模板中创建提示模板
# 导入LangChain中的提示模板
from langchain.prompts import PromptTemplate
# 创建原始模板
template = "您是一位专业的文案写手。\n对于信息 {text} 进行简短描述"
# 根据原始模板创建LangChain提示模板
prompt = PromptTemplate.from_template(template)
# 打印LangChain提示模板的内容
print(prompt)
print(prompt.format(text="猪八戒吃人参果"))
提示模板的具体内容如下:
input_variables=['text'] template='您是一位专业的文案写手。\n对于信息 {text} 进行简短描述'
您是一位专业的文案写手。
对于信息 猪八戒吃人参果 进行简短描述
2.直接生成提示模板
通过提示模板类的构造函数,在创建模板时手工指定input_variables
from langchain.prompts import PromptTemplate
prompt = PromptTemplate(
input_variables=["text"],
template="您是一位专业的文案写手。\n对于信息 {text} 进行简短描述"
)
print(prompt.format(text="猪八戒吃人参果"))
使用提示模板
调用语言模型,让模型帮写文案,并返回文案结果。
将模板实例化,将 {text}
替换为 "猪八戒吃人参果"
,形成具体的提示:“您是一位专业的文案写手。对于信息 猪八戒吃人参果 进行简短描述”
# 导入LangChain中的OpenAI模型接口
from langchain_openai import OpenAI
# 创建模型实例
model = OpenAI(model_name='gpt-3.5-turbo-instruct')
# 输入提示
input = prompt.format(text="猪八戒吃人参果")
# 得到模型的输出
output = model(input)
# 打印输出内容
print(output)
猪八戒是一位贪吃的神仙,他最爱的美食就是人参果。每当他闻到人参果的香味,就会忍不住大快朵颐,吃得津津有味。然而,人参果却是一种珍稀的仙果,吃多了会让猪八戒变得更加贪婪和暴躁,甚至会影响他的神仙身份。因此,猪八戒每次都要克制自己的食欲,才能保持神仙的本性。尽管如此,每当有人提起人参果,他仍然会忍不住流口水,渴望再次品尝这种美味的禁果。
复用提示模板
复用提示模板,可以同时生成多个结果。
# 导入LangChain中的OpenAI模型接口
from langchain_openai import OpenAI
# 创建模型实例
model = OpenAI(model_name='gpt-3.5-turbo-instruct')
# 多种花的列表
objList = ["猪八戒吃人参果", "孙悟空吃人参果"]
# 生成多种花的文案
for obj in zip(objList):
# 使用提示模板生成输入
input_prompt = prompt.format(text=obj)
# 得到模型的输出
output = model(input_prompt)
# 打印输出内容
print(output)
模型输出如下:
猪八戒是一位贪吃的妖怪,但他最爱吃的不是普通的食物,而是人参果。这种奇特的水果具有神奇的功效,能够增强生命力,让人变得更加健康强壮。但如果被猪八戒吃掉,可能会让他变得更加凶猛可怕。
孙悟空是一位身怀绝技的神仙,他喜欢吃人参果来增强自己的力量。
ChatPromptTemplate聊天提示模板
LangChain提供了几个相关的提示模板,以便轻松构建和处理提示。在使用聊天模型时,建议使用这些与聊天相关的提示模板,而不是PromptTemplate,以充分发挥基础聊天模型的潜力。
PromptTemplate创建字符串提示的模板。默认情况下,使用Python的str.format语法进行模板化。而ChatPromptTemplate是创建聊天消息列表的提示模板。
创建一个ChatPromptTemplate提示模板,模板的不同之处是它们有对应的角色。
基本使用
通过from_messages方法,传入简单的聊天列表数据,以此创建提示模板
from langchain.prompts.chat import ChatPromptTemplate
template = "你是一个翻译专家,擅长将 {input_language} 语言翻译成 {output_language}语言."
human_template = "{text}"
chat_prompt = ChatPromptTemplate.from_messages([
("system", template),
("human", human_template),
])
print(chat_prompt)
# 导入LangChain中的ChatOpenAI模型接口
from langchain_openai import ChatOpenAI
# 创建模型实例
model = ChatOpenAI(model_name='gpt-3.5-turbo')
# 输入提示
messages = chat_prompt.format_messages(input_language="英文", output_language="中文", text="I love programming.")
# 得到模型的输出
output = model.invoke(messages)
# 打印输出内容
print(output)
content='我喜欢编程。' response_metadata={'token_usage': {'completion_tokens': 8, 'prompt_tokens': 48, 'total_tokens': 56}, 'model_name': 'gpt-3.5-turbo', 'system_fingerprint': 'fp_b28b39ffa8', 'finish_reason': 'stop', 'logprobs': None} id='run-365c447e-f3d7-4d07-b5f2-7953752d4ba6-0'
进阶使用
LangChain提供不同类型的MessagePromptTemplate.最常用的是AIMessagePromptTemplate、 SystemMessagePromptTemplate和HumanMessagePromptTemplate,分别创建人工智能消息、系统消息和人工消息。
要创建与角色相关联的消息模板,可以使用MessagePromptTemplate。
# 导入聊天消息类模板
from langchain.prompts import (
ChatPromptTemplate,
SystemMessagePromptTemplate,
HumanMessagePromptTemplate,
)
# 模板的构建
system_template = "你是一个翻译专家,擅长将 {input_language} 语言翻译成 {output_language}语言."
system_message_prompt = SystemMessagePromptTemplate.from_template(system_template)
human_template = "{text}"
human_message_prompt = HumanMessagePromptTemplate.from_template(human_template)
prompt_template = ChatPromptTemplate.from_messages([system_message_prompt, human_message_prompt])
# 格式化提示消息生成提示
prompt = prompt_template.format_prompt(input_language="英文", output_language="中文",
text="I love programming.").to_messages()
from langchain_openai import ChatOpenAI
# 创建模型实例
model = ChatOpenAI(model_name='gpt-3.5-turbo')
# 得到模型的输出
result = model.invoke(prompt)
# 打印输出内容
print(result)
更直接地构建MessagePromptTemplate,可以在外部创建一个PromptTemplate,然后将其传递进去
prompt=PromptTemplate(
template="你是一个翻译专家,擅长将 {input_language} 语言翻译成 {output_language}语言.",
input_variables=["input_language", "output_language"],
)
system_message_prompt = SystemMessagePromptTemplate(prompt=prompt)
少量样本示例的提示模板
基于LLM模型与聊天模型,可分别使用FewShotPromptTemplate或FewShotChatMessagePromptTemplate,两者使用基本一致。
这里主要使用FewShotPromptTemplate,它是一个复杂的提示模板,它包含多个示例和一个提示。这种模板可以使用多个示例来指导模型生成对应的输出。
使用FewShotPromptTemplate类来创建使用少量样本示例的提示模板,此类要么接受一组示例,要么接受一个ExampleSelector对象。
创建示例集
创建一些提示样本,每个示例都是一个字典,其中键是输入变量,值是输入变量的值。
examples = [
{"input": "2+2", "output": "4", "description": "加法运算"},
{"input": "5-2", "output": "3", "description": "减法运算"},
]
创建提示模板
配置一个格式化程序,将Few-shot示例格式化为字符串。这个格式化程序应该是一个PromptTemplate对象。
from langchain.prompts import PromptTemplate
# 创建提示模板,配置一个提示模板,将一个示例格式化为字符串
prompt_template = "你是一个数学专家,算式: {input} 值: {output} 使用: {description} "
# 这是一个提示模板,用于设置每个示例的格式
prompt_sample = PromptTemplate(input_variables=["input", "output", "description"], template=prompt_template)
print(prompt_sample.format(**examples[0])) # 你是一个数学专家,算式: 2+2 值: 4 使用: 加法运算
创建FewShotPromptTemplate对象
创建一个FewShotPromptTemplate对象。这个对象接受Few-shot示例和Few-shot示例格式化程序
# 创建一个FewShotPromptTemplate对象
from langchain.prompts.few_shot import FewShotPromptTemplate
prompt = FewShotPromptTemplate(
examples=examples,
example_prompt=prompt_sample,
suffix="你是一个数学专家,算式: {input} 值: {output}",
input_variables=["input", "output"]
)
print(prompt.format(input="2*5", output="10")) # 你是一个数学专家,算式: 2*5 值: 10
使用
初始化大模型,然后调用
from langchain_openai import OpenAI
model = OpenAI(model_name='gpt-3.5-turbo-instruct')
result = model.invoke(prompt.format(input="2*5", output="10"))
print(result) # 使用: 乘法运算
示例选择器
概述
LangChain提供示例选择器来提高效率,避免一次性发送所有示例给模型,同时减少使用的Token数量。
如果有大量示例,可能需要选择要包含在提示中的示例,示例选择器是负责执行此操作的类。
LangChain有几种不同类型的示例选择器。
名称 | 描述 |
---|---|
SemanticSimilarityExampleSelector | 使用输入和示例之间的语义相似性来决定选择哪些示例。 |
MaxMarginalRelevanceExampleSelector | 使用输入和示例之间的最大边际相关性来决定选择哪些示例。 |
LengthBasedExampleSelector | 根据一定长度内可以容纳的数量来选择示例 |
NGramOverlapExampleSelector | 使用输入和示例之间的 ngram 重叠来决定选择哪些示例。 |
这里使用SemanticSimilarityExampleSelector示例选择器,基于少量样本示例的提示模板结合示例选择器进行使用,具体使用参考如下
安装Chroma向量数据库
示例选择器使用向量相似度比较,需要安装向量数据库。这里使用了开源的Chroma。
安装Chroma
pip install chromadb
定义示例集
# 定义包含的示例
examples = [
{"input": "2+2", "output": "4", "description": "加法运算"},
{"input": "5-2", "output": "3", "description": "减法运算"},
]
创建提示模板
from langchain.prompts import PromptTemplate
# 创建创建提示模板
prompt_template = "你是一个数学专家,算式: {input} 值: {output} 使用: {description} "
# 这是一个提示模板,用于设置每个示例的格式。
prompt_sample = PromptTemplate(input_variables=["input", "output", "description"], template=prompt_template)
print(prompt_sample.format(**examples[0])) # 你是一个数学专家,算式: 2+2 值: 4 使用: 加法运算
示例选择器
不直接将示例馈送到FewShotPromptTemplate对象中,而是将其馈送到ExampleSelector对象中
# 导入FewShotPromptTemplate对象
from langchain.prompts.few_shot import FewShotPromptTemplate
# 导入选择器
from langchain.prompts.example_selector import SemanticSimilarityExampleSelector
# 导入向量数据库Chroma
from langchain_community.vectorstores import Chroma
# 导入嵌入模型
from langchain_openai import OpenAIEmbeddings
# 初始化示例选择器
example_selector = SemanticSimilarityExampleSelector.from_examples(
examples,
OpenAIEmbeddings(),
Chroma,
k=1
)
创建FewShotPromptTemplate对象
创建一个FewShotPromptTemplate对象。该对象接受示例选择器和few shot示例的格式化程序。
# 创建一个使用示例选择器的FewShotPromptTemplate对象
prompt = FewShotPromptTemplate(
example_selector=example_selector,
example_prompt=prompt_sample,
suffix="你是一个数学专家,算式: {input} 值: {output}",
input_variables=["input", "output"]
)
使用
# 调用大模型
from langchain_openai import OpenAI
model = OpenAI(model_name='gpt-3.5-turbo-instruct')
print(model.invoke(prompt.format(input="2*5", output="10"))) # 使用: 乘法运算
PipelinePromptTemplate提示模板
概述
LangChain 包含一个抽象 PipelinePromptTemplate,当想要重用部分提示时,它会很有用。
PipelinePrompt 由两个主要部分组成:
最终提示:返回的最终提示
管道提示:元组列表,由字符串名称和提示模板组成。每个提示模板将被格式化,然后作为具有相同名称的变量传递到未来的提示模板。
最终提示
创建要给最终提示模板,它由多个提示模板构成最终模板。
from langchain_core.prompts.prompt import PromptTemplate
# 创建一个完整的模板 最终提示
full_template = """{introduction}
{example}
{start}"""
full_prompt = PromptTemplate.from_template(full_template)
多个提示
创建多个提示模板,由这些模板构成最终完整的提示模板,这些单个提示模板可以实现复用的效果。
# 创建一个介绍模板
introduction_template = """你在冒充 {person}."""
introduction_prompt = PromptTemplate.from_template(introduction_template)
# 创建一个示例模板
example_template = """下面是一个交互示例:
Q: {example_q}
A: {example_a}"""
example_prompt = PromptTemplate.from_template(example_template)
# 创建一个开始模板
start_template = """现在,认真做这件事
Q: {input}
A:"""
start_prompt = PromptTemplate.from_template(start_template)
管道提示
组合单个可复用提示模板成一个管道提示模板
from langchain_core.prompts.pipeline import PipelinePromptTemplate
# 元组列表,由字符串名称和提示模板组成
input_prompts = [
("introduction", introduction_prompt),
("example", example_prompt),
("start", start_prompt),
]
# 创建一个管道模板
pipeline_prompt = PipelinePromptTemplate(
final_prompt=full_prompt, pipeline_prompts=input_prompts
)
使用
# 提示模板所需的变量名称列表
print(pipeline_prompt.input_variables)
# 输出结果
print(
pipeline_prompt.format(
person="Elon Musk",
example_q="你最喜爱的车辆?",
example_a="特斯拉",
input="你最喜欢的社交媒体网站是什么?",
)
)
执行日志如下
['example_q', 'person', 'input', 'example_a']
你在冒充 Elon Musk.
下面是一个交互示例:
Q: 你最喜爱的车辆?
A: 特斯拉
现在,认真做这件事
Q: 你最喜欢的社交媒体网站是什么?
A:
部分提示模板
概述
“部分”提示模板是有意义的,例传递所需值的子集,以创建仅需要剩余值子集的新提示模板。
LangChain通过两种方式支持这一点:
1.使用字符串值进行部分格式化
2.使用返回字符串值的函数进行部分格式化
基本使用
先使用字符串值部分化提示模板,然后传递部分化的提示模板
from langchain_core.prompts import PromptTemplate
prompt = PromptTemplate.from_template("{foo}{bar}")
partial_prompt = prompt.partial(foo="foo")
print(partial_prompt.format(bar="baz"))
在初始化提示模板时,使用字符串值部分化变量
prompt = PromptTemplate(
template="{foo}{bar}", input_variables=["bar"], partial_variables={"foo": "foo"}
)
print(prompt.format(bar="baz"))
使用返回字符串值的函数进行部分处理,适用于总是想以一种常见的方式获取一个变量时
from datetime import datetime
def _get_datetime():
now = datetime.now()
return now.strftime("%m/%d/%Y, %H:%M:%S")
prompt = PromptTemplate(
template="Tell me a {adjective} joke about the day {date}",
input_variables=["adjective", "date"],
)
partial_prompt = prompt.partial(date=_get_datetime)
print(partial_prompt.format(adjective="funny"))
如何学习AI大模型?
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;
第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;
第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;
第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;
第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;
第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;
第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。
👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;
• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;
• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;
• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。
1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集
👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓