智能硬件大模型语音交互流程自定义编排(基础篇)

本篇文章主要讲解怎么在聆思大模型平台LSPlatform上实现自定义大模型应用开发,包含云端节点的输入输出,以及怎样在实际应用落地的时候怎么做调试、debug和错误捕获。

如果想了解有哪些现成示例可以使用,可以参考之前分享的文章。

编辑器介绍

左边侧边栏的节点模块是编排应用需要用到的一些节点,这些节点封装了对应功能,例如提示词节点,它的作用是将输入通过该节点处理后组装成所需的prompt提示词进行输出。

中间是流程编排区,新建或对导入的模块进行自定义修改就在此区域进行。

在编排区点击对应的节点,会在右侧弹出编辑框,可以进行对应功能的编辑。

节点使用

如下图所示,每个节点通常包含几个方面:首先是节点属性栏,其中包括节点的各种操作设置;其次是帮助信息部分,每个节点都会提供相应的帮助说明,明确该节点所需输入数据格式以及输出内容将包含在哪个JSON文件中。

以提示词节点为例,根据节点帮助信息的指导,需要在输入时构造相应格式的数据,并将其存放在message.payload中。假设需要调试一个包含"a"和"b"键的提示词,可以在此创建一个包含"a"和"b"值的JSON作为输入,连接到提示词节点的输入端。

对于其他封装节点,我们可以通过点击节点查看其相关属性,并通过帮助信息了解节点输入输出详细格式,这对于后续编写复杂链路和数据获取至关重要。例如知识库问答节点打开后按照项目名填入对应信息即可加入链路使用。

调试方法

在调试过程中,我们可以使用【inject】触发输入进行测试。如下图所示,部署后,可以直接点击时间戳前面的方框触发链路编排,激活从某一节点开始,经过配置的节点,最终到达提示词节点。

成功请求后,若需查看输出结果,可以在调试阶段引入一个debug节点,然后再次部署并触发,以查看链路执行结果。

在右侧侧边栏的debug部分,可查看所添加的debug节点输出的信息,它会将上游节点的输出作为自身输入,并将其内容记录在日志中。这里显示的日志内容包括msg.payload中的JSON,即经过提示词节点模板渲染后的输出结果。

最小业务流搭建

先参考下图把对应节点拉入编排区

打开【function】节点在模拟调试时,我们需要对数据进行处理,根据【星火大模型】调用节点的输入要求准备数据。打开星火大模型节点的帮助文件,可以看到输入为带messages数组的JSON格式,而输出则为标准模型对话格式。

例如使用“1+2等于多少”作为示例数据,打开【function 1】节点配置,随后利用debug节点观察输出结果,这有助于应用开发过程中的调试工作。

如下图触发后,可以看到debug节点接收到多帧数据,这表明节点配置了流式返回。在debug节点中可以观察到流式返回的内容。

若不需要流式返回,可关闭此选项再次触发,此时debug节点展示的输出为标准对话输出格式。从中可以观察到msg.payload中choices 数组的message的content字段包含了模型的实际输出结果。

扩展用法

我们可以用function节点来改变输入和输出。例如在上图中的【function 2】节点,将模型输出的content字段复制到massage.payload中作为输出。

检查function节点处理后的输出结果,可以看到输出已经按照预期改变了结构,直接显示为模型生成的文本内容。

总结

链路应用开发技巧包括使用前置触发器启动流程、引入function节点修改数据结构、编写链路,以及使用debug节点逐项检查每个节点的输出并进行调试,从而形成完整的工作链路。

配套讲解视频【聆思大模型平台LSPlatform云端节点编排教程上集 —— 基础节点使用-】 https://b23.tv/x8Dg0jp

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值