手把手教你用聆思CSK6大模型开发板接入豆包1.5深度思考模型

前言

火山引擎发布了豆包1.5深度思考模型,包含两个版本,第一个主线版本是大语言模型 Doubao-1.5-thinking-pro,推理能力更强;第二个是具备多模态能力的视觉版 Doubao-1.5-thinking-pro-vision,支持深度思考+视觉推理。

本篇先以聆思CSK6大模型开发板接入火山引擎Doubao-1.5-thinking-pro为例,分享具体的接入步骤,大家按照文档步骤操作即可。

如需要我们后续提供接入多模态能力的视觉版(Doubao-1.5-thinking-pro-vision)示例或其他实现需求,可以在评论区留言具体场景需求,我们会尽量优先实现大家需求。

语音交互演示

CSK6大模型语音视觉开发套件接入豆包1.5深度思考模型

方案架构讲解

由下图可见,当前方案是把开发套件当做输入端,文字或图片内容先上传到聆思的大模型平台(LSPlatform),然后平台再根据匹配的应用策略转给对接第三方大模型处理。基于聆思大模型平台提供的应用编排功能,我们如果要使用其他大模型,只需要从云端更改大模型接入节点,而无需去修改硬件端。

通过聆思平台云端接入豆包1.5深度思考模型

注意:该步骤实操前需要有火山方舟/火山引擎账号,并在火山方舟管理控制平台的在线推理那里创建接入点。注册地址:火山方舟大模型体验中心-火山引擎

1、创建应用

登录LSplatform,创建新应用

创建成功后在弹出的界面进入应用编排服务。

通过聆思平台云端接入豆包1.5深度思考模型

注意:该步骤实操前需要有火山方舟/火山引擎账号,并在火山方舟管理控制平台的在线推理那里创建接入点。注册地址:火山方舟大模型体验中心-火山引擎

1、创建应用

登录LSplatform,创建新应用

创建成功后在弹出的界面进入应用编排服务。

2、导入工程

  1. 下载工程示例:https://docs2.listenai.com/z/226.json
  2. 导入工程示例:选择豆包Doubao1.5-thinking-pro示例.json文件导入

若提示“您要导入的某些节点已经存在于工作空间中。”,则选择“导入副本”即可。

链路说明

示例中包含3条链路,功能描述如下:

  • 链路1: 通过注入节点调用Doubao1.5节点,并将结果输出到debug1。
  • 链路2: 通过web对话页调用Doubao1.5节点,最终将大模型结果输出到对话页面上。
  • 链路3: 通过开发板调用Doubao1.5节点,最终将大模型输出的结果进行语音合成实现开发板端侧播报

3、配置参数

需要配置信息:

其他参数说明:

  • HOST: ark.cn-beijing.volces.com
  • PATH:/api/v3/chat/completions
  • Stream:是否流式返回,默认使用“true”

4、部署验证

在完成参数配置,进入完整体验之前,我们可以简单测试验证,验证是否成功调用Doubao1.5。

  • 部署成功后关闭当前编排服务

  • 测试接口

重启应用后,再次点开【编排应用】,点击注入,会触发一次Doubao1.5子流程调用,标记2的红框中输出类似日志即代表成功建立链接。

  • 打开web验证页面

回到【我的应用】,点击豆包Doubao1.5-thinking-pro应用,在弹出的应用详情页面点击右上角分享按钮打开web验证配置,该配置页包含测试地址和访问密码。

  • 访问web验证页面链接,在打开的web页即可与Doubao1.5对话

大模型开发板接入自建云端应用

云端接入豆包Doubao1.5成功后,要想在聆思CSK6大模型开发板上进行语音交互,需要把对接了Doubao1.5的云端应用跟指定开发板绑定。

1、创建产品

产品管理模块点击新建产品按钮,并按要求填写你的产品名称。

2、云端应用和云端产品信息绑定

配置你需要调用的大模型应用,完成配置后,用户即可体验豆包1.5与开发板交互。在此我们仅需在配置应用勾对文章第一步创建的应用即可。

3、云端应用设备列表加入硬件设备ID

读取设备id

设备ID是一个产品下的唯一设备标识,我们需要获取当前设备ID方便后续在云端配置,才能让设备鉴权通过实现端云交互读取方式:

1.打开cskburn desktop,点击串口下拉框;

2.选择连接开发套件后识别到的串口编号,点击获取信息;

3.得到设备ID

这里需要安装cskburn desktop,这是是一款聆思推出的桌面工具,下载地址:https://docs2.listenai.com/x/oo2_KzYFd

加入设备列表

聆思平台只会对导入到设备管理中的设备提供服务,因此需要将前面读取到的设备ID在设备管理页面进行导入才能实现设备正常交互。

4、CSK6开发板设备端写入云端产品服务配置

云端配置设备id后,还需将产品ID写入开发板固件中,才能让设备在运行时找到正确的云端产品服务完进行鉴权,鉴权完成就可以进行大模型语音交互了。

配置方式:

1、先在聆思平台产品管理功能下已经配置好的产品,展示出右侧的接入二维码:

2、然后开发板的首页下滑调出菜单点击设置图标再点击应用切换到应用信息查看页:

3、点击右下角扫码接入按钮调出相机,将 LSPlatform 待接入的产品二维码置于屏幕绿色扫描框内,完成扫描后,请在应用配置信息处检查product_idsecret_id是否已更新:

注:屏幕亮度和反光会影响扫码识别,可以把二维码的网页放大200%以上再扫码。

语音交互验证

小美小美唤醒,并提问你是谁,语音先回复思考过程,再回复它是豆包即验证成功。至此,可以确认豆包1.5深度思考模型 接入成功。

其他资料

本文使用的聆思CSK6大模型开发板的详细信息可参考线上文档。套件简介 | 聆思文档中心

上手大模型硬件开发可以参考:大模型+AI智能语音交互硬件开发上手建议路径和资料汇总

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值