前言
火山引擎发布了豆包1.5深度思考模型,包含两个版本,第一个主线版本是大语言模型 Doubao-1.5-thinking-pro,推理能力更强;第二个是具备多模态能力的视觉版 Doubao-1.5-thinking-pro-vision,支持深度思考+视觉推理。
本篇先以聆思CSK6大模型开发板接入火山引擎的Doubao-1.5-thinking-pro为例,分享具体的接入步骤,大家按照文档步骤操作即可。
如需要我们后续提供接入多模态能力的视觉版(Doubao-1.5-thinking-pro-vision)示例或其他实现需求,可以在评论区留言具体场景需求,我们会尽量优先实现大家需求。
语音交互演示
CSK6大模型语音视觉开发套件接入豆包1.5深度思考模型
方案架构讲解
由下图可见,当前方案是把开发套件当做输入端,文字或图片内容先上传到聆思的大模型平台(LSPlatform),然后平台再根据匹配的应用策略转给对接的第三方大模型处理。基于聆思大模型平台提供的应用编排功能,我们如果要使用其他大模型,只需要从云端更改大模型接入节点,而无需去修改硬件端。
通过聆思平台云端接入豆包1.5深度思考模型
注意:该步骤实操前需要有火山方舟/火山引擎账号,并在火山方舟管理控制平台的在线推理那里创建接入点。注册地址:火山方舟大模型体验中心-火山引擎
1、创建应用
登录LSplatform,创建新应用
创建成功后在弹出的界面进入应用编排服务。
通过聆思平台云端接入豆包1.5深度思考模型
注意:该步骤实操前需要有火山方舟/火山引擎账号,并在火山方舟管理控制平台的在线推理那里创建接入点。注册地址:火山方舟大模型体验中心-火山引擎
1、创建应用
登录LSplatform,创建新应用
创建成功后在弹出的界面进入应用编排服务。
2、导入工程
- 下载工程示例:https://docs2.listenai.com/z/226.json
- 导入工程示例:选择豆包Doubao1.5-thinking-pro示例.json文件导入
若提示“您要导入的某些节点已经存在于工作空间中。”,则选择“导入副本”即可。
链路说明
示例中包含3条链路,功能描述如下:
- 链路1: 通过注入节点调用Doubao1.5节点,并将结果输出到debug1。
- 链路2: 通过web对话页调用Doubao1.5节点,最终将大模型结果输出到对话页面上。
- 链路3: 通过开发板调用Doubao1.5节点,最终将大模型输出的结果进行语音合成实现开发板端侧播报
3、配置参数
需要配置信息:
- API-KEY:Doubao1.5的API-KEY的获取可参考官方文档 获取 API key--火山方舟大模型服务平台-火山引擎
- Model:这里填入创建的推理接入点ID,举例:「"model": "ep-2025XXXXXX-XXXX"」如下图所示。
其他参数说明:
- HOST: ark.cn-beijing.volces.com
- PATH:/api/v3/chat/completions
- Stream:是否流式返回,默认使用“true”
4、部署验证
在完成参数配置,进入完整体验之前,我们可以简单测试验证,验证是否成功调用Doubao1.5。
- 部署成功后关闭当前编排服务
- 测试接口
重启应用后,再次点开【编排应用】,点击注入,会触发一次Doubao1.5子流程调用,标记2的红框中输出类似日志即代表成功建立链接。
- 打开web验证页面
回到【我的应用】,点击豆包Doubao1.5-thinking-pro应用,在弹出的应用详情页面点击右上角分享按钮打开web验证配置,该配置页包含测试地址和访问密码。
- 访问web验证页面链接,在打开的web页即可与Doubao1.5对话
大模型开发板接入自建云端应用
云端接入豆包Doubao1.5成功后,要想在聆思CSK6大模型开发板上进行语音交互,需要把对接了Doubao1.5的云端应用跟指定开发板绑定。
1、创建产品
在产品管理模块点击新建产品按钮,并按要求填写你的产品名称。
2、云端应用和云端产品信息绑定
配置你需要调用的大模型应用,完成配置后,用户即可体验豆包1.5与开发板交互。在此我们仅需在配置应用勾对文章第一步创建的应用即可。
3、云端应用设备列表加入硬件设备ID
读取设备id
设备ID是一个产品下的唯一设备标识,我们需要获取当前设备ID方便后续在云端配置,才能让设备鉴权通过实现端云交互,读取方式:
1.打开cskburn desktop,点击串口下拉框;
2.选择连接开发套件后识别到的串口编号,点击获取信息;
3.得到设备ID
这里需要安装cskburn desktop,这是是一款聆思推出的桌面工具,下载地址:https://docs2.listenai.com/x/oo2_KzYFd
加入设备列表
聆思平台只会对导入到设备管理中的设备提供服务,因此需要将前面读取到的设备ID在设备管理页面进行导入才能实现设备正常交互。
4、CSK6开发板设备端写入云端产品服务配置
云端配置设备id后,还需将产品ID写入开发板固件中,才能让设备在运行时找到正确的云端产品服务完进行鉴权,鉴权完成就可以进行大模型语音交互了。
配置方式:
1、先在聆思平台产品管理功能下已经配置好的产品,展示出右侧的接入二维码:
2、然后在开发板的首页下滑调出菜单,点击设置图标 →再点击应用,切换到应用信息查看页:
3、点击右下角扫码接入按钮调出相机,将 LSPlatform 待接入的产品二维码置于屏幕绿色扫描框内,完成扫描后,请在应用配置信息处检查product_id和secret_id是否已更新:
注:屏幕亮度和反光会影响扫码识别,可以把二维码的网页放大200%以上再扫码。
语音交互验证
用小美小美唤醒,并提问你是谁,语音先回复思考过程,再回复它是豆包即验证成功。至此,可以确认豆包1.5深度思考模型 接入成功。
其他资料
本文使用的聆思CSK6大模型开发板的详细信息可参考线上文档。套件简介 | 聆思文档中心
上手大模型硬件开发可以参考:大模型+AI智能语音交互硬件开发上手建议路径和资料汇总