AI-Talk开发板接入聆思大模型平台(LSPlatform)

一、说明

LSPlatform链接：应用 | 聆思大模型平台 (listenai.com)

SDK：项目 · Duomotai / duomotai_ap · GitLab

二、工程

        duomotai_ap/apps/LLM_pic演示了设备端接入聆思大模型的功能。用户的语音通过wifi传给大模型，大模型根据用户的音频意图来生成图片，或者生成文本并下发给设备端。

1、设备树

参照AI-Talk开发板SDK第4节内容：

2、设备树覆盖文件

在duomotai_ap/apps/shell_xtts/boards/目录下复制csk6_duomotai_devkit.overlay重命名为csk6011a_box_lite.overlay文件，修改以下内容：

spk_pa_mute: spk_pa_mute {
     gpios = <&exgpioc 2 GPIO_ACTIVE_HIGH>;
};

3、编译

lisa zep build -b csk6011a_box_lite apps/LLM_pic -p

编译生成的固件：duomotai_ap/build/zephyr/zephyr.bin

 4、烧录

固件的烧录及查看运行日志参照：AI-Talk开发板CSK6固件烧录-CSDN博客

三、注册

官方指导文档： 开始使用 | 聆思文档中心

获取API密钥 | 聆思文档中心

1、申请开通

提交申请之后需要将注册电话号码通过微信发送给聆思科技工作人员，工作人员授权后，会收到一条开通成功的短信。

2、创建API密钥

大模型平台登陆地址：https://platform.listenai.com/

登录平台后，点击左侧的密钥模块，创建API KEY

Key Name编辑框里输入一个字符串作为key的名字，然后点击后面的按钮。 

三、创建新应用

1、新建

        基于大模型语音交互模板创建新应用。点击应用模板中心，在简易配置标签下选择大模型语音交互模板点击添加应用按钮，给应用命名（如：大模型对话）后点击确认创建应用。

完成创建后，在我的应用页面会显示创建的应用。

2、配置

语音识别：是否开启语音唤醒以及静音多久被认为是语音输入结束。

历史对话：是否开启上下文记忆等。

语音技能： 配置应用的能力，默认一个都没有开启，这样只能实现基本的对话，需要自行开启更多的技能。

知识库：添加自定义知识库，如上传一份产品说明书。 

四、创建产品 

1、新建

在产品管理模块点击新建产品按钮，并按要求填写你的产品名称。

2、配置应用

在配置应用勾对第一阶段已经创建的大模型应用。

       

后续需要将product_id和secret_id写入设备里。

3、读取设备ID

        设备ID是一个产品下的唯一设备标识，需要获取当前设备ID方便后续在云端配置，才能让设备鉴权通过实现端云交互。
支持以下几种方式进行 ID 的读取：

4、离线license授权

        由于芯片端的TT语音合成等算法需要离线license授权才能使用，所以芯片端还需烧录license文件才能正常使用。将芯片ID发送给聆思商务人员，对方会根据芯片ID生成一个license.bin文件，使用cskburn工具将此文件烧写到FLASH，地址为0xfff000。

自行授权方法：CSK离线license授权操作指导 | 聆思文档中心 

5、 添加设备ID到白名单

        聆思平台只会对列表中的设备鉴权提供交互服务，因此需要将前面读取到的设备ID在设备管理页面进行导入才能实现设备正常交互。

点击导入设备ID按钮，以表格或文本的形式导入设备ID。 

6、设备端接入产品

        打开在线串口终端工具,选择对应的串口设备进行连接，波特率默认115200，完成配置后点击连接按钮。

        通过 set product_id 和set secret_id指令可以分别配置开发板接入的大模型应用 product ID 及其密钥，示例如下：

set product_id 71cd1721-xxx-xxx-xxx-1000055c8b2f

set secret_id cb09013f-xxx-xxx-xxx-e212b32f9218

五、运行

1、连接网络

可使用命令方式，相关命令如下：

连接指定wifi        wifi connect <ssid> <pwd>
断开连接            wifi disconnect
添加WiFi到列表      wifi add <ssid> <pwd>
删除WiFi            wifi delete <ssid>
显示列表中的WiFi     wifi list

2、视频

大模型交互终端对话