【视觉语音大模型AI开发套件】聆思大模型平台的体验

一、前言

此次语音大模型AI开发套件是由极术社区提供的，该板卡套件型号“CSK6-MIX”，是聆思科技围绕 CSK6 AI 芯片设计的具备丰富语音图像功能与硬件外设的开发板，默认配套开箱即玩的AI应用，方便用户快速基于搭建AI硬件原型并体验算法效果。

AI开发套件外设资源丰富，集成摄像头、麦克风、扬声器、屏幕等外设配件，并且集成了DAPLink调试器芯片，开发者可通过DAPLink USB接口对CSK6芯片进行固件烧录、代码仿真与串口打印。

二、快速体验

开发套件在出厂时默认安装了《大模型图片生成与设备控制》这一综合示例，开箱即可体验AI套件的智能交互。首先需要给板子联网，通过Type-C数据线连接板上DAP_USB接口，电脑端打开串口调试工具，波特率设置为115200，按照“wifi connect wifi名称 wifi密码”的字符格式发送给开发板。完成联网后，即可通过“小聆小聆”唤醒词对开发套件进行唤醒。官方也在聆思文档中心提供了出厂固件，用户按照文档指引，搭建好开发环境，完成lisa zep命令行工具的安装后，即可在windows命令终端窗口中使用“lisa zep exec cskburn -s \\.\COMx -C 所在串口号 -b 1500000 0x000000 llm_zephyr.bin”对命令执行的所在目录下的出厂固件“llm_zephyr.bin”进行烧写。

三、大模型开发体验

3.1   应用部署

经过：https://platform.listenai.com/application进入聆思平台，点击“应用模板中心”选择“多模态交互”模板点击“添加应用”按钮，并给应用命名后点击确认创建应用。

这里创建一个基于导游应用的模板，完成创建后找到刚创建的应用，点击“编排应用”，进入可视化应用编排界面。

接下来，我们需要给编排界面中的“提示词”填充合适的模板，初始状态的“提示词”框有一个小红色三角标识，说明没有填充合适的提示词模板。应用中根据实际需要，创建自己想要的提示词模板。

在线编排

①、将“提示词”填充好自己预设的提示词模板。

②、双击“落域结果判断”，增加“导游”项并包含。

③、根据需求，增加自己预设的应用节点，并连线。

确保整个应用中的“API KEY配置”调用的是同一个，最后整个编排完成如下。

完成编排配置后，点击右上角的“部署”，然后返回到“应用”界面，点击“部署生产”，这里就将刚刚部署完的应用从测试环境提交到生产环境。测试环境、生产环境都可通过右上角的“分享”字样，获得7天免费对话框式的人机交互，这有点像当前比较火的“ChatGPT”。

3.2 产品配置

既然经过上面的应用部署后，并且将应用已经提交到生产环境了，这里我们就需要创建一个产品，然后将产品赋予自己设计的大模型应用。

读取设备ID

设备ID是产品的唯一设备标识，我们需要获取当前设备ID方便后续在云端配置，才能让设备鉴权通过实现端云交互。之前我们已搭建好了Lisa环境，因此只需要通过串口发送对应指令，即可读取出设备ID，“lisa zep exec cskburn -s \\.\COM对应串口号 -C 6  -b 748800 --chip-id”。这里需要注意的是，如果打开了串口调试助手，需要将串口关闭掉后再启用windows命令窗口，AI开发板正常运行下，输入指令即可读出设备ID。

设备ID白名单

聆思平台只会对列表中的设备鉴权提供交互服务，因此需要将前面读取到的设备ID在“设备管理”页面进行导入才能实现设备正常交互。

设备端写入配置

完成云端配置后，仅需将产品ID写入设备，才能让设备找到对应的产品完成鉴权服务。

写入方式是通过串口调试工具，发送“产品配置”中的product_id与product_secret。“product_id set “8a97d0d9-xxxx-xxxx-xxxx-3c145144c630”，“secret_id set “441414b2-xxxx-xxxx-xxxx-e160e7769d44”。

四、大模型测试效果

完成以上步骤后，可以验证设计效果。如果用户觉得有些不妥，需要修改，则只需要在“编排应用”界面进行设计更改，完成后点击右上角的“部署”即可将当前应用更新到生产环境中，然后设备端Reset即可。如果节点产生冲突，界面则会提示有“合并”或“更改”节点的提示对话框。设计旅游向导的演示效果如下视频，每介绍一个目的地，则会生成一幅相应地名的代表性风景图画。

【视觉语音大模型 AI 开发套件】的旅游向导体验