一起学大模型 - LangChain 的 OutputParser

已于 2024-07-17 13:20:39 修改
阅读量1k 收藏 30
点赞数 33
文章标签： langchain outPutParser 大模型
于 2024-06-04 11:16:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kljyrx/article/details/139436305
版权

文章目录

前言

LangChain 是一个用于构建语言模型应用的框架，它提供了许多工具和类来简化与语言模型交互的过程。OutputParser 是其中一个关键组件，用于解析语言模型生成的输出，并将其转换为更易处理的结构化数据。

一、 OutputParser 的概述

OutputParser 是一个抽象基类，定义了从语言模型输出解析数据的接口。在使用语言模型生成文本时，输出通常是非结构化的纯文本数据。OutputParser 提供了一种机制，将这些非结构化的文本数据转换为结构化的格式（如字典、列表、对象等），以便于后续处理。

一个典型的 OutputParser 类需要实现以下关键方法：

  • parse 方法：
    该方法接受模型生成的输出文本，并返回解析后的结构化数据。

  • get_format_instructions 方法：
    （可选）该方法返回一个字符串，包含如何格式化模型输出的指令。这对于提示设计（prompt design）非常有用。

二、 JSON OutputParser

下面是一个简单的示例，展示了如何实现一个 OutputParser，将语言模型的输出解析为 JSON 格式的数据。

from typing import Any, Dict
import json
from abc import ABC, abstractmethod

class OutputParser(ABC):
    @abstractmethod
    def parse(self, text: str) -> Any:
        pass
    
    @abstractmethod
    def get_format_instructions(self) -> str:
        pass

class JsonOutputParser(OutputParser):
    def parse(self, text: str) -> Dict:
        try:
            # 尝试将文本解析为 JSON
            return json.loads(text)
        except json.JSONDecodeError:
            # 处理 JSON 解析错误
            raise ValueError("Failed to parse JSON")

    def get_format_instructions(self) -> str:
        return "Please provide the output in JSON format."

# 示例使用
if __name__ == "__main__":
    parser = JsonOutputParser()
    
    # 模拟的语言模型输出
    model_output = '{"name": "Alice", "age": 30}'
    
    try:
        result = parser.parse(model_output)
        print("Parsed output:", result)
    except ValueError as e:
        print("Error:", e)
    
    format_instructions = parser.get_format_instructions()
    print("Format instructions:", format_instructions)

输出

Parsed output: {'name': 'Alice', 'age': 30}
Format instructions: Please provide the output in JSON format.

函数说明

  • parse 方法：

    • 接受一个字符串（模型输出），尝试将其解析为 JSON 格式。
    • 如果解析成功，返回一个字典。
    • 如果解析失败，抛出一个 ValueError。

  • get_format_instructions 方法：

    • 返回一个字符串，说明模型应该如何格式化输出。在这个例子中，要求模型输出 JSON 格式的数据。

三、自定义格式解析器

下面是一个自定义格式解析器的示例，该解析器将语言模型的输出解析为自定义格式的数据。假设我们有一个自定义的输出格式，包含一些预定义的标签和对应的值。我们将实现一个 CustomFormatOutputParser 来解析这种格式的输出。

1. 假设的自定义格式

我们的自定义格式如下所示，每一行包含一个标签和值，以冒号分隔：

name: Alice
age: 30
location: Wonderland

2. 实现 CustomFormatOutputParser

我们将创建一个 CustomFormatOutputParser，它会解析上述格式的输出，将其转换为一个字典。

from typing import Any, Dict
from abc import ABC, abstractmethod

class OutputParser(ABC):
    @abstractmethod
    def parse(self, text: str) -> Any:
        pass
    
    @abstractmethod
    def get_format_instructions(self) -> str:
        pass

class CustomFormatOutputParser(OutputParser):
    def parse(self, text: str) -> Dict[str, Any]:
        result = {}
        lines = text.strip().split('\n')
        
        for line in lines:
            key, value = line.split(':', 1)
            result[key.strip()] = value.strip()
        
        return result

    def get_format_instructions(self) -> str:
        return "Please provide the output in the following format:\nname: <name>\nage: <age>\nlocation: <location>"

# 示例使用
if __name__ == "__main__":
    parser = CustomFormatOutputParser()
    
    # 模拟的语言模型输出
    model_output = """
    name: Alice
    age: 30
    location: Wonderland
    """
    
    try:
        result = parser.parse(model_output)
        print("Parsed output:", result)
    except ValueError as e:
        print("Error:", e)
    
    format_instructions = parser.get_format_instructions()
    print("Format instructions:", format_instructions)

输出

Parsed output: {'name': 'Alice', 'age': '30', 'location': 'Wonderland'}
Format instructions: Please provide the output in the following format:
name: <name>
age: <age>
location: <location>

3. 更复杂的自定义格式

假设我们有一个更复杂的自定义格式，其中标签和值可能包含多个单词，并且每个条目之间有一个空行：

Name: Alice Smith

Age: 30

Location: Wonderland

我们可以对 CustomFormatOutputParser 进行修改，以处理这种更复杂的格式：

class ComplexCustomFormatOutputParser(OutputParser):
    def parse(self, text: str) -> Dict[str, Any]:
        result = {}
        lines = text.strip().split('\n\n')  # 使用双换行分割条目
        
        for line in lines:
            key, value = line.split(':', 1)
            result[key.strip()] = value.strip()
        
        return result

    def get_format_instructions(self) -> str:
        return "Please provide the output in the following format with each entry separated by a blank line:\nName: <full name>\n\nAge: <age>\n\nLocation: <location>"

# 示例使用
if __name__ == "__main__":
    parser = ComplexCustomFormatOutputParser()
    
    # 模拟的语言模型输出
    model_output = """
    Name: Alice Smith

    Age: 30

    Location: Wonderland
    """
    
    try:
        result = parser.parse(model_output)
        print("Parsed output:", result)
    except ValueError as e:
        print("Error:", e)
    
    format_instructions = parser.get_format_instructions()
    print("Format instructions:", format_instructions)

输出

Parsed output: {'Name': 'Alice Smith', 'Age': '30', 'Location': 'Wonderland'}
Format instructions: Please provide the output in the following format with each entry separated by a blank line:
Name: <full name>

Age: <age>

Location: <location>

在这个版本中，我们修改了 parse 方法，以处理更复杂的格式，其中每个条目之间有一个空行。我们通过双换行符分割条目，并去掉每个条目的空白字符。这种方式可以更好地处理复杂的输出格式。

这个示例展示了如何根据特定的业务需求定制 OutputParser，以解析自定义格式的语言模型输出。

四、 正则表达式解析器

正则表达式解析器 (RegexOutputParser) 是一种用于从非结构化文本中提取特定模式的数据的工具。正则表达式强大且灵活，适用于各种复杂的解析任务。

1. 示例：正则表达式解析器

假设我们有一个语言模型输出包含一些结构化信息，但这些信息混杂在自然语言文本中。我们的目标是提取这些信息。以下是一个简单的例子，展示如何实现一个 RegexOutputParser 来解析特定的输出格式。

2. 假设的语言模型输出

Name: Alice
Age: 30
Location: Wonderland

3. 实现 RegexOutputParser

我们将创建一个 RegexOutputParser，它使用正则表达式来解析上述格式的输出，并将其转换为一个字典。

import re
from typing import Any, Dict
from abc import ABC, abstractmethod

class OutputParser(ABC):
    @abstractmethod
    def parse(self, text: str) -> Any:
        pass
    
    @abstractmethod
    def get_format_instructions(self) -> str:
        pass

class RegexOutputParser(OutputParser):
    def parse(self, text: str) -> Dict[str, Any]:
        result = {}
        # 定义正则表达式模式
        patterns = {
            'name': re.compile(r'Name:\s*(.*)'),
            'age': re.compile(r'Age:\s*(\d+)'),
            'location': re.compile(r'Location:\s*(.*)')
        }
        
        for key, pattern in patterns.items():
            match = pattern.search(text)
            if match:
                result[key] = match.group(1).strip()
        
        return result

    def get_format_instructions(self) -> str:
        return "Please provide the output in the following format:\nName: <name>\nAge: <age>\nLocation: <location>"

# 示例使用
if __name__ == "__main__":
    parser = RegexOutputParser()
    
    # 模拟的语言模型输出
    model_output = """
    Name: Alice
    Age: 30
    Location: Wonderland
    """
    
    try:
        result = parser.parse(model_output)
        print("Parsed output:", result)
    except ValueError as e:
        print("Error:", e)
    
    format_instructions = parser.get_format_instructions()
    print("Format instructions:", format_instructions)

输出

Parsed output: {'name': 'Alice', 'age': '30', 'location': 'Wonderland'}
Format instructions: Please provide the output in the following format:
Name: <name>
Age: <age>
Location: <location>

4. 更复杂的示例

假设我们有更复杂的输出，包括额外的信息，如电子邮件和电话号码：

Name: Alice Smith
Age: 30
Location: Wonderland
Email: alice@example.com
Phone: +1234567890

我们可以扩展 RegexOutputParser 来处理这种更复杂的格式：

class ComplexRegexOutputParser(OutputParser):
    def parse(self, text: str) -> Dict[str, Any]:
        result = {}
        # 定义正则表达式模式
        patterns = {
            'name': re.compile(r'Name:\s*(.*)'),
            'age': re.compile(r'Age:\s*(\d+)'),
            'location': re.compile(r'Location:\s*(.*)'),
            'email': re.compile(r'Email:\s*([\w\.-]+@[\w\.-]+)'),
            'phone': re.compile(r'Phone:\s*(\+\d+.*)')
        }
        
        for key, pattern in patterns.items():
            match = pattern.search(text)
            if match:
                result[key] = match.group(1).strip()
        
        return result

    def get_format_instructions(self) -> str:
        return ("Please provide the output in the following format:\n"
                "Name: <name>\n"
                "Age: <age>\n"
                "Location: <location>\n"
                "Email: <email>\n"
                "Phone: <phone>")

# 示例使用
if __name__ == "__main__":
    parser = ComplexRegexOutputParser()
    
    # 模拟的语言模型输出
    model_output = """
    Name: Alice Smith
    Age: 30
    Location: Wonderland
    Email: alice@example.com
    Phone: +1234567890
    """
    
    try:
        result = parser.parse(model_output)
        print("Parsed output:", result)
    except ValueError as e:
        print("Error:", e)
    
    format_instructions = parser.get_format_instructions()
    print("Format instructions:", format_instructions)

输出

Parsed output: {'name': 'Alice Smith', 'age': '30', 'location': 'Wonderland', 'email': 'alice@example.com', 'phone': '+1234567890'}
Format instructions: Please provide the output in the following format:
Name: <name>
Age: <age>
Location: <location>
Email: <email>
Phone: <phone>

5. 说明

在这个扩展的示例中，正则表达式解析器被更新以处理更多类型的信息，包括电子邮件和电话号码。每个字段都有其对应的正则表达式模式，用于匹配并提取信息。这种方式可以灵活地适应多种复杂的输出格式。

五、表格解析器

表格解析器用于解析结构化的表格数据，例如 CSV 或 Markdown 表格格式。下面我们将创建一个 TableOutputParser 类，该类可以解析简单的表格数据，并将其转换为列表或字典格式。

1. 假设的表格数据

假设我们有一个 Markdown 格式的表格数据：

| Name  | Age | Location   |
|-------|-----|------------|
| Alice | 30  | Wonderland |
| Bob   | 25  | Neverland  |

2. 实现 TableOutputParser

我们将实现一个 TableOutputParser 类来解析这种表格数据。

from typing import Any, Dict, List
from abc import ABC, abstractmethod
import re

class OutputParser(ABC):
    @abstractmethod
    def parse(self, text: str) -> Any:
        pass
    
    @abstractmethod
    def get_format_instructions(self) -> str:
        pass

class TableOutputParser(OutputParser):
    def parse(self, text: str) -> List[Dict[str, Any]]:
        lines = text.strip().split('\n')
        
        # 提取表头
        headers = [header.strip() for header in lines[0].strip('|').split('|')]
        
        # 提取数据行
        rows = []
        for line in lines[2:]:  # 跳过表头和分隔符行
            values = [value.strip() for value in line.strip('|').split('|')]
            row = dict(zip(headers, values))
            rows.append(row)
        
        return rows

    def get_format_instructions(self) -> str:
        return (
            "Please provide the output in the following Markdown table format:\n"
            "| Name  | Age | Location   |\n"
            "|-------|-----|------------|\n"
            "| Alice | 30  | Wonderland |\n"
            "| Bob   | 25  | Neverland  |"
        )

# 示例使用
if __name__ == "__main__":
    parser = TableOutputParser()
    
    # 模拟的语言模型输出
    model_output = """
    | Name  | Age | Location   |
    |-------|-----|------------|
    | Alice | 30  | Wonderland |
    | Bob   | 25  | Neverland  |
    """
    
    try:
        result = parser.parse(model_output)
        print("Parsed output:", result)
    except ValueError as e:
        print("Error:", e)
    
    format_instructions = parser.get_format_instructions()
    print("Format instructions:", format_instructions)

3. 输出

Parsed output: [{'Name': 'Alice', 'Age': '30', 'Location': 'Wonderland'}, {'Name': 'Bob', 'Age': '25', 'Location': 'Neverland'}]
Format instructions: Please provide the output in the following Markdown table format:
| Name  | Age | Location   |
|-------|-----|------------|
| Alice | 30  | Wonderland |
| Bob   | 25  | Neverland  |

4. 处理 CSV 格式的表格数据

我们还可以实现一个解析 CSV 格式表格数据的 CSVOutputParser。CSV 格式的表格数据如下：

Name,Age,Location
Alice,30,Wonderland
Bob,25,Neverland

5. 实现 CSVOutputParser

import csv
from io import StringIO

class CSVOutputParser(OutputParser):
    def parse(self, text: str) -> List[Dict[str, Any]]:
        f = StringIO(text)
        reader = csv.DictReader(f)
        return list(reader)

    def get_format_instructions(self) -> str:
        return (
            "Please provide the output in the following CSV format:\n"
            "Name,Age,Location\n"
            "Alice,30,Wonderland\n"
            "Bob,25,Neverland"
        )

# 示例使用
if __name__ == "__main__":
    parser = CSVOutputParser()
    
    # 模拟的语言模型输出
    model_output = """
    Name,Age,Location
    Alice,30,Wonderland
    Bob,25,Neverland
    """
    
    try:
        result = parser.parse(model_output)
        print("Parsed output:", result)
    except ValueError as e:
        print("Error:", e)
    
    format_instructions = parser.get_format_instructions()
    print("Format instructions:", format_instructions)

6. 输出

Parsed output: [{'Name': 'Alice', 'Age': '30', 'Location': 'Wonderland'}, {'Name': 'Bob', 'Age': '25', 'Location': 'Neverland'}]
Format instructions: Please provide the output in the following CSV format:
Name,Age,Location
Alice,30,Wonderland
Bob,25,Neverland

总结

OutputParser 是 LangChain 中一个重要的组件，用于将语言模型生成的非结构化文本数据转换为结构化数据。通过实现各种类型的自定义的 OutputParser，开发者可以根据具体需求灵活地解析模型输出，从而更好地利用语言模型生成的数据。

做个天秤座的程序猿
关注
【AI大模型应用开发】【LangChain系列】1. 全面学习LangChain输入输出I/O模块：理论介绍+实战示例+细节注释
同学小张的博客
02-05 2032
LangChain的输入输出模块的封装，包括Prompt模板、大模型接口、输出解析器的封装。本文带你全面学习这些模块，通过介绍+实战，对这些模块的用法和作用有深刻的认识。
（16-1）输出解析器（Output Parsers）（1）
码农三叔
04-24 1210
LangChain中的输出解析器（Output Parsers）是一组工具，其主要任务是将大型语言模型（LLMs）生成的原始输出转换为更加结构化和可用的格式。这一点对于从LLMs获取结构化数据来说尤为重要，因为LLMs通常输出自由形式的文本。在本章的内容中，将详细讲解LangChain中输出解析器（Output Parsers）的知识，为读者步入后面知识的学习打下基础。
LangChain之Output parsers
newcon的博客
09-07 640
langchain中output parser 模块介绍
LangChain中的output parsers
choose_c的博客
07-19 2454
生成语言模型由于生成不可控，所以生成的自然语言是非结构话的文本。而prompt的出现使得用户可以将期望的输出文本格式进行约束和规范。LangChain中的output parsers模块可以使模型输出的期望的结构化文本，使用的正是prompt操作。
如何在Python中解析JSON输出：使用LangChain的JsonOutputParser
最新发布
ppoojjj的博客
08-12 497
在提示中指定任意的JSON模式查询模型以获得符合该模式的输出将输出解析为JSON格式与其他解析器相比，JsonOutputParser的一个显著优势是支持流式返回部分JSON对象，这在处理大型响应时特别有用。JsonOutputParser是一个强大的工具，可以帮助我们从LLM获取结构化的JSON输出。它不仅支持通过Pydantic定义精确的模式，还能处理任意的JSON结构。流式输出功能使其在处理大型响应时更具优势。LangChain官方文档Pydantic文档OpenAI API文档。
5分钟明白LangChain 的输出解析器和链
程序员半支烟，wechat：yclxiao
05-27 1026
本文介绍 LangChain 的输出解析器OutputParser的使用，和基于LangChain的LCEL构建链。
LangChain - Output Parsers
AI + 工程
04-08 1330
一、输出解析器 (Output Parsers) 快速入门 二、列表解析器 三、datetime 日期时间解析器 四、枚举解析器 五、自动修复解析器 六、Pydantic（JSON）解析器 七、重试解析器 八、结构化输出解析器 structured
【langchain学习】使用JsonOutputParser让大模型生成结构化JSON数据
m0_54007171的博客
08-04 957
使用Langchain处理结构化数据，以JsonOutputParser为例。
洞悉LangChain：LangChain工程化设计，从API到智能Agent的全面探索
丨汀、的博客
07-12 553
洞悉LangChain：LangChain工程化设计，从API到智能Agent的全面探索
【LangChain学习之旅】—（6） 提示工程（下）：用思维链和思维树提升模型思考质量
我们都是被分成两半的人，一边热爱生活，一边憎恨生活。面对生活，我们总是在矛盾的两端摇摆，在反复的矛盾和犹豫中，一边踉跄前行，一边重振旗鼓。我渴望改变，渴望变得更好，渴望找到出口……就像一个溺水人的挣扎，就像一个救生圈。我是一个矛盾集合体，想要变得快乐，但是
01-12 1737
CoT 这个概念来源于学术界，是谷歌大脑的 Jason Wei 等人于 2022 年在论文《Chain-of-Thought Prompting Elicits Reasoning in Large Language Models（自我一致性提升了语言模型中的思维链推理能力）》中提出来的概念。它提出，如果生成一系列的中间推理步骤，就能够显著提高大型语言模型进行复杂推理的能力。CoT 的核心思想是通过生成一系列中间推理步骤来增强模型的推理能力。
【LangChain编程：从入门到实践】模型I_O模块
AI天才研究院
06-01 802
【LangChain编程：从入门到实践】模型I/O模块 1. 背景介绍 在当今的人工智能领域中,LangChain是一个强大而灵活的框架,旨在帮助开发人员构建基于大型语言模型(LLM)的应用程序。随着人工智能技术的不断进步,LLM正在成为各种任务的关键组成部分,从自然语
前端拥抱AI：LangChain.js 入门之Output Parser
2401_85375186的博客
08-09 598
顾名思义，就是输出解析，是根据下游的使用需求，把来自语言模型的原始文本按需要需要进行parser处理。它们帮助将语言模型的文本响应结构化为更有用的格式。输出解析器允许您将文本转换为JSON、XML等。一个直观的示例图。
LangChain进阶之Output Parsers
瓦罗兰特顶级C位的博客
06-14 577
输出解析器是LangChain的一个关键组件，它们的作用是将模型生成的文本输出转换成结构化的数据，以便更容易地使用和分析。
[LangChain核心模块]模型的输入输出-＞output_parsers
逐梦苍穹的博客
07-13 3660
本文介绍langchain的output_parsers
LangChain大型语言模型(LLM)应用开发(一)：Models, Prompts and Output Parsers
weixin_42608414的博客
06-29 3657
今天我们学习了如何使用langchain来创建prompt模板，并且langchain的prompt模板会自动识别prompt中的内嵌变量，在生成message时只需在prompt模板的format_messages方法中传递所需变量即可。另外我们还学习了如何通过Langchain来解析LLM的输出结果，通过创建ResponseSchema和StructuredOutputParser，可以产生用来指导LLM如何产生格式化数据的prompt即format_instructions ，LLM会根据format
Langchain 的 Structured output parser
engchina的专栏
07-22 1211
Langchain 的 Structured output parser
大模型从入门到应用——LangChain：提示（Prompts）-[输出解析器（Output Parsers）]
热门推荐
冯·诺依曼
08-06 1万+
语言模型输出的是文本，但很多时候，我们可能希望获取比纯文本更结构化的信息，输出解析器（Output Parsers）就可以帮助我们获取结构化信息。
LangChain-02 JsonOutputParser
永远好奇，无限进步！
04-02 587
学习JsonOutputParser的使用，以及 LangChain中对Chain的使用和扩展。
大模型技术入门与深度解读
这一节主要是讲述大模型的能力，通过一些任务来探索，这里我整理了prompt的范式，包括一个范例，另外整理了langchain介绍，包括一些langchain示例。 知识点: - 大模型的能力分析 - 如何通过任务探索大模型 - Prompt...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值