本次使用聆思CSK6视觉语音大模型开发板除基础的外设外,还提供了摄像头/麦克风/扬声器/屏幕/网络模组等硬件资源,因此很适合进行视觉类、语音类的应用开发。
- 使用聆思 CSK6011A 芯片作为主控,板载 16MB Flash
- 集成摄像头、麦克风、扬声器、屏幕等丰富外设配件
- 配套多模态应用示例,支持快速上手体验大模型语音交互、智能视觉等 AI 应用
- 板载 DAPLINK 调试器,外接一条USB 线即可实现烧录、调试、串口日志查看
- 板载网络模组,支持开发联网类应用
开发板左侧有两个USB接口,分别是用来烧录调试、查看日志和摄像头数据。两个接口均支持对开发板供电。但考虑到一些电脑的一个信息接口可能存在电流不足的问题,因此还配套了电源适配器,可以连接开发板的DC座供电。
支持的AI能力
- 语音唤醒 + 坐姿检测
- 坐姿检测
- 单词评测
- 人脸识别
- 头肩检测 & 手势识别
- 物体分类
- 中英翻译
- 分词
- 啼哭检测
当开发套件联网后,就可以进行大模型语音交互和使用视觉识别能力
上手开发板
接入
1、使用type-c数据线连接电脑和开发板的【DAP_USB】口
2、连接成功后,会在电脑上看到新增的COM口,开发板集成了调试器芯片,因此可以通过这个COM口连接到芯片的日志串口。
3、打开串口日志调试工具,选中识别到的位置,默认使用波特率11520,勾选【加回车换行】。
联网
打开串口后 可以输入WiFi指令,查看支持的网络相关的操作。如果开发版之前没有接入过WiFi网络,我们可以使用wifi connect <name> <password>这条指令来联网。以接入WiFi SSID为wifitest,密码是12345678为例,输入wifi connect wifitest 12345678,发送这条指令后就可以让开发板连接WiFi网络了。
SDK支持的联网指令如下:
- wifi connect
- 如果系统上电后联网失败,日志无输出,用户可以通过 wifi connect ssid pwd 命令连接到相应的网络 (ssid 为 WIFI 名称,pwd 为密码)
- 如果系统已经联网成功,使用此命令,会提示已经连接网络
- 以接入名称为 wifitest,密码为 12345678 的 WIFI 网络为例,使用的联网命令为:wifi connect wifitest 12345678
- wifi disconnect: 断开 WIFI 网络连接
- wifi add ssid pwd: 把 ssid 的网络存储到 flash 分区,添加后设备在自动联网时可自动接入此网络
- wifi delete ssid: 从flash分区中删除ssid网络
- wifi list: 列出flash分区存储的网络列表
大模型语音交互
开发套件接入网络后,可以使用“小聆小聆”用这个唤醒词进行唤醒,并说出问题就可以听到经大模型处理的语音回复。
也支持接入自己的大模型云端应用,实现与该大模型应用进行语音交互,详细操作文档可以私信了解。
坐姿识别
开发套件的SDK还包含离线的坐姿检测算法能力, 坐姿检测算法通过摄像头拍摄的图片和检测结果,支持通过CSK_USB接口传输到电脑或上位机上。
1、我们把连接电脑的数据线接到开发板的【CSK _USB】接口上,连接成功后就可以看到屏幕右下角弹出【检测到CSK View Finde】的提示?如果您使用windows系统,没有弹出提示,可以参照Windows系统使用必读 进行驱动安装。
2、我们点击打开PC工具的网址,找到我们的设备并连接,
3、连接后就可以看到图像采集情况和坐姿的检测情况。
4、此外,当开发板检测到我们出现不良坐姿时,也会通过闪烁开发板上的红色LED灯进行提醒。
使用其他AI能力
开发套件还可以通过更换SDK使用其他AI能力,以使用【单词评测】为例,执行五步即可使用。
1、按 开发文档指引 拉取SDK 代码:
git clone --branch v1.2.0 https://cloud.listenai.com/CSKG962172/duomotai_ap.git
2、初始化SDK
lisa zep init-app
lisa zep update
3、编译工程
lisa zep build -b csk6_duomotai_devkit apps\lcd_csps\ -p
4、烧录固件
支持Windows系统和Linux系统,其中的 COMx 代表开发套件连接到 PC 上对应的串口号(可通过设备管理器查看)。例如:COM3。
windows系统:
lisa zep flash -r pyocd --frequency 20000000
lisa zep exec cskburn -s \\.\COMx -C 6 -b 1500000 0x000000 build\zephyr\zephyr.bin
linux系统:
lisa zep exec cskburn -s PORT -C 6 0x000000 ./build/zephyr/zephyr.bin -b 1500000
5、运行:
烧录完成后,程序将自动运行,你也可以通过按压开发板上的复位按键(RTS)进行复位运行。
视频讲解
CSK6 视觉语音大模型开发板功能演示与上手指南
CSK6 视觉语音大模型开发板功能演示与上手指南
其他开发资料
ChatGPT 实践分享 | CSDN
环境搭建 | 聆思文档中心
芯片介绍 | 聆思文档中心
支持简介 | 聆思文档中心
更多视频课程
关于聆思
聆思科技是一家专注提供智能终端系统级(SoC)芯片的高科技企业,目前推出的CSK6系AI芯片已适配Zephyr RTOS。
希望了解更多有关CSK6 AI芯片信息的伙伴也可以+V:cskmoudule
欢迎各位同学与我们进行技术相关的探讨,大家一起进步吧!