Langchain 使用LCEL实现时,如何保留中间数据

问题

目前在 LangChain 0.3 版本中,LCEL (LangChain Expression Language) 是一个新功能,它通过声明性方式定义链式调用、模型推理和数据流。对于很多常见的任务,它可以极大地简化链条配置。
例如,我们可以利用LCEL语法轻松的将不同组件连接起来(类似于管道),形成一个完整的链条,让程序顺着链条一步一步执行下去。

 chain = step1_chain | step2_chain | step3_chain
 chain.invoke(x)  #执行链条

执行这样一个简单的链条可以直接获得最终的结果,但是如果想保留中间每一步计算的结果,应该如何修改呢?

解决方法

答案就是使用RunnablePassthrough.assign
查看官方文档,可以找到这两段描述

In some cases, it may be useful to pass the input through while adding some keys to the output. In this case, you can use the assign method

If you’d like to mimic the dict packaging of input and output in LLMChain, you can use a RunnablePassthrough.assign

看一个具体的例子,这个例子对用户输入的问题进行实体识别,然后对识别的结果进行实体链接,同时完成schema的获取; 最后,利用这些中间结果,将用户问题改写为针对neo4j数据库的查询语句。

cypher_response = (
    RunnablePassthrough.assign(names=entity_chain)
    | RunnablePassthrough.assign(
        entities_list=lambda x: map_to_database(x['names']), 
        schema=lambda _: graph.get_schema
    )
    | RunnablePassthrough.assign(
        cypher = (cypher_prompt | llm | StrOutputParser()) ) # 将嵌套的cypher处理逻辑直接放在一起
)

这样调用模型的输出包含了所有的中间结果:

{'question': '发现某化工园区多种化学品泄露,园区内主要存储的是乙醇、硫酸、氯气和过氧化氢,需要考虑哪些风险因素',
 'names': Entities(names=['乙醇', '硫酸', '氯气', '过氧化氢', '化工园区', '化学品泄露', '风险因素']),
 'entities_list': '乙醇 maps to 乙醇(化学品)/溶于乙醇(理化特性)/无水乙醇(化学品) in database\n硫酸 maps to 硫酸(化学品)/亚硫酸(化学品)/发烟硫酸(化学品) in database\n氯气 maps to 强氯气味(理化特性) in database\n过氧化氢 maps to 过氧化氢(化学品) in database\n',
 'schema': 'Node properties:\n安全隐患 {id: STRING, name: STRING, wcc: INTEGER}\n组织机构 {wcc: INTEGER, id: STRING, name: STRING}\n职务 {wcc: INTEGER, id: STRING, name: STRING}\n安全措施 {wcc: INTEGER, id: STRING, name: STRING}\n\n急救措施 {name: STRING, id: STRING, wcc: INTEGER}\n泄漏应急处理 {name: STRING, id: STRING, wcc: INTEGER}\n化学品英文名 {name: STRING, id: STRING, wcc: INTEGER}\n温度 {name: STRING, wcc: INTEGER}\n相对湿度 {name: STRING, wcc: INTEGER}\n慢性影响 {wcc: INTEGER, name: STRING, id: STRING}\n活性反应 {name: STRING, id: STRING, wcc: INTEGER}\n灭火剂 {id: STRING, name: STRING, wcc: INTEGER}\nRelationship properties:\n\nThe relationships:\n(:安全隐患)-[:MENTIONS]->(:职务)\n(:安全隐患)-[:MENTIONS]->(:组织机构)\n(:安全隐患)-[:MENTIONS]->(:安全措施)\n(:安全隐患)-[:MENTIONS]->(:危险源)\n(:安全隐患)-[:MENTIONS]->(:区域)\n(:安全隐患)-[:MENTIONS]->(:活动操作)\n(:安全隐患)-[:MENTIONS]->(:设备设施)\n(:安全隐患)-[:MENTIONS]->(:用途)\n(:安全隐患)-[:MENTIONS]->(:化学品类别)\n(:安全隐患)-[:MENTIONS]->(:化学品)\n(:安全隐患)-[:MENTIONS]->(:灭火剂)\n(:安全隐患)-[:MENTIONS]->(:禁忌物)\n(:安全隐患)-[:MENTIONS]->(:中毒表现)\n(:化学品类别)-[:包含]->(:化学品)\n(:化学品类别)-[:包含]->(:禁忌物)\n(:化学品类别)-[:禁忌关系_可以混存]->(:危险性类别)\n(:化学品类别)-[:禁忌关系_可以混存]->(:危险性说明)\n(:化学品类别)-[:禁忌关系_应隔离存储]->(:化学品类别)\n(:化学品类别)-[:别名]->(:化学品)\n(:化学品类别)-[:危险性类别]->(:危险性类别)\n(:化学品类别)-[:危险性类别]->(:燃烧与爆炸危险性)\n(:化学品类别)-[:危险性类别]->(:化学品)\n(:化学品类别)-[:外观与性状]->(:理化特性)\n(:化学品类别)-[:熔点]->(:理化特性)\n(:化学品类别)-[:溶解性]->(:理化特性)\n(:化学品类别)-[:禁忌物]->(:化学品类别)\n(:化学品类别)-[:禁忌物]->(:禁忌物)\n(:化学品类别)-[:禁忌物]->(:化学品)',
 'cypher': '```cypher\nMATCH (c1:化学品 {name: "乙醇"})-[:禁忌物|:灭火方法(适用)|:灭火方法(禁用)|:燃烧与爆炸危险性|:应急措施|:泄漏应急处理|:急救措施|:危险性说明|:危险性类别|:环境影响|:中毒表现|:理化特性|:毒性|:存储条件]->(riskFactor)\nMATCH (c2:化学品 {name: "硫酸"})-[:禁忌物|:灭火方法(适用)|:灭火方法(禁用)|:燃烧与爆炸危险性|:应急措施|:泄漏应急处理|:急救措施|:危险性说明|:危险性类别|:环境影响|:中毒表现|:理化特性|:毒性|:存储条件]->(riskFactor)\nMATCH (c3:化学品 {name: "氯气"})-[:禁忌物|:灭火方法(适用)|:灭火方法(禁用)|:燃烧与爆炸危险性|:应急措施|:泄漏应急处理|:急救措施|:危险性说明|:危险性类别|:环境影响|:中毒表现|:理化特性|:毒性|:存储条件]->(riskFactor)\nMATCH (c4:化学品 {name: "过氧化氢"})-[:禁忌物|:灭火方法(适用)|:灭火方法(禁用)|:燃烧与爆炸危险性|:应急措施|:泄漏应急处理|:急救措施|:危险性说明|:危险性类别|:环境影响|:中毒表现|:理化特性|:毒性|:存储条件]->(riskFactor)\nRETURN DISTINCT riskFactor\n```'
 }

Reference

RunnablePassthrough
Migrating from LLMChain

数据治理是确保数据准确性、可靠性、安全性、可用性和完整性的体系和框架。它定义了组织内部如何使用、存储、保护和共享数据的规则和流程。数据治理的重要性随着数字化转型的加速而日益凸显,它能够提高决策效率、增强业务竞争力、降低风险,并促进业务创新。有效的数据治理体系可以确保数据在采集、存储、处理、共享和保护等环节的合规性和有效性。 数据质量管理是数据治理中的关键环节,它涉及数据质量评估、数据清洗、标准化和监控。高质量的数据能够提升业务决策的准确性,优化业务流程,并挖掘潜在的商业价值。随着大数据和人工智能技术的发展,数据质量管理在确保数据准确性和可靠性方面的作用愈发重要。企业需要建立完善的数据质量管理和校验机制,并通过数据清洗和标准化提高数据质量。 数据安全与隐私保护是数据治理中的另一个重要领域。随着数据量的快速增长和互联网技术的迅速发展,数据安全与隐私保护面临前所未有的挑战。企业需要加强数据安全与隐私保护的法律法规和技术手段,采用数据加密、脱敏和备份恢复等技术手段,以及加强培训和教育,提高安全意识和技能水平。 数据流程管理与监控是确保数据质量、提高数据利用率、保护数据安全的重要环节。有效的数据流程管理可以确保数据流程的合规性和高效性,而实监控则有助于及发现并解决潜在问题。企业需要设计合理的数据流程架构,制定详细的数据管理流程规范,并运用数据审计和可视化技术手段进行监控。 数据资产管理是将数据视为组织的重要资产,通过有效的管理和利用,为组织带来经济价值。数据资产管理涵盖数据的整个生命周期,包括数据的创建、存储、处理、共享、使用和保护。它面临的挑战包括数据量的快速增长、数据类型的多样化和数据更新的迅速性。组织需要建立完善的数据管理体系,提高数据处理和分析能力,以应对这些挑战。同数据资产的分类与评估、共享与使用规范也是数据资产管理的重要组成部分,需要制定合理的标准和规范,确保数据共享的安全性和隐私保护,以及建立合理的利益分配和权益保障机制。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值