langchain开发应用程序

LangChain 应用程序开发

1、介绍：

langchain是开发大模型应用程序的一个开源框架，基于模块化组合有很多单独的组件。

（1）模型（models）：包括各种语言模型和向量模型

（2）提示词（prompts）:为模型提供指示的指令，类似与训练模型

（3）索引（indexes）:提供数据检索

（4）链（chains）:将每个组件链接起来实现端到端的应用

（5）代理（agents）:扩展模型的推理能力

2、提示

（1）提示词案例

1)直接调用API

# 要求模型根据给出的语调进行转化
prompt = f"""把由三个反引号分隔的文本\
翻译成一种{style}风格。
文本: ```{customer_email}```
"""

print("提示：", prompt)

response = get_completion(prompt)
print(response)

2)通过langchain调用API

from langchain.chat_models import ChatOpenAI

# 这里我们将参数temperature设置为0.0，从而减少生成答案的随机性。
# 如果你想要每次得到不一样的有新意的答案，可以尝试调整该参数。
chat = ChatOpenAI(temperature=0.0)
chat

（2）langchain快速构建提示词

customer_style = """正式普通话 \
用一个平静、尊敬的语气
"""

customer_email = """
嗯呐，我现在可是火冒三丈，我那个搅拌机盖子竟然飞了出去，把我厨房的墙壁都溅上了果汁！
更糟糕的是，保修条款可不包括清理我厨房的费用。
伙计，赶紧给我过来！
"""

# 使用提示模版
customer_messages = prompt_template.format_messages(
                    style=customer_style,
                    text=customer_email)
# 打印客户消息类型
print("客户消息类型:",type(customer_messages),"\n")

# 打印第一个客户消息类型
print("第一个客户客户消息类型类型:", type(customer_messages[0]),"\n")

# 打印第一个元素
print("第一个客户客户消息类型类型: ", customer_messages[0],"\n")

客户消息类型:
 <class 'list'> 

第一个客户客户消息类型类型:
 <class 'langchain.schema.messages.HumanMessage'> 

第一个客户客户消息类型类型: 
 content='把由三个反引号分隔的文本翻译成一种正式普通话 用一个平静、尊敬的语气\n风格。文本: ```\n嗯呐，我现在可是火冒三丈，我那个搅拌机盖子竟然飞了出去，把我厨房的墙壁都溅上了果汁！\n更糟糕的是，保修条款可不包括清理我厨房的费用。\n伙计，赶紧给我过来！\n```\n' additional_kwargs={} example=False 

LangChain还提供了提示模版用于一些常用场景。比如自动摘要、问答、连接到SQL数据库、连接到不同的API。通过使用LangChain内置的提示模版，你可以快速建立自己的大模型应用，而不需要花时间去设计和构造提示。

3、存储

• 对话缓存储存 (ConversationBufferMemory）
• 对话缓存窗口储存 (ConversationBufferWindowMemory）
• 对话令牌缓存储存 (ConversationTokenBufferMemory）
• 对话摘要缓存储存 (ConversationSummaryBufferMemory）

4、模型链

链（Chains）通常将大语言模型（LLM）与提示（Prompt）结合在一起，基于此，我们可以对文本或数据进行一系列操作。链（Chains）可以一次性接受多个输入。例如，我们可以创建一个链，该链接受用户输入，使用提示模板对其进行格式化，然后将格式化的响应传递给 LLM 。我们可以通过将多个链组合在一起，或者通过将链与其他组件组合在一起来构建更复杂的链。

5、基于文档的回答

向量嵌入(Embeddings)和向量存储(Vector Store)来处理长文档。

首先，使用文本嵌入(Embeddings)算法对文档进行向量化，使语义相似的文本片段具有接近的向量表示。其次，将向量化的文档切分为小块，存入向量数据库，这个流程正是创建索引(index)的过程。向量数据库对各文档片段进行索引，支持快速检索。这样，当用户提出问题时，可以先将问题转换为向量，在数据库中快速找到语义最相关的文档片段。然后将这些文档片段与问题一起传递给语言模型，生成回答

6、评估

评估是检验语言模型问答质量的关键环节。评估可以检验语言模型在不同文档上的问答效果，找出其弱点。还可以通过比较不同模型，选择最佳系统。此外，定期评估也可以检查模型质量的衰减。评估通常有两个目的：

• 检验LLM应用是否达到了验收标准
• 分析改动对于LLM应用性能的影响

7、代理

代理作为语言模型的外部模块，可提供计算、逻辑、检索等功能的支持，使语言模型获得异常强大的推理和获取信息的超能力。