利用聆思科技CS6大模型开发板实现语音提醒不良坐姿
1、切记操作系统一定得windows10及以上
2、本机电脑操作系统 windows 11 家庭中文版
3、RAM:32G i5 13代 64位
4、进入套件简介网址阅读使用说明
网址:https://docs2.listenai.com/x/nTn9kMMCU
5、安装开发环境
(1)先安装GIT
(2)LISA编译环境
6、本实验目的:做一个不良坐姿提醒,放在小孩作业桌子前,用来监督提醒小孩坐姿不良,时刻提醒(声音和LED光线提醒等)。
(1)找到duomotai_ap文件在audio_recognition_online上右击,用open with code 打开工程。
所有工程的目录网址https://docs2.listenai.com/x/W-UwdIBzk
注:右击如果没有code软件可以自行百度,如何把如今添加到右击中。
(2)在工程内的main文件中找到sit_rlt_process函数,内部有对坐姿要求的提示灯,在检测异常情况下,语音提醒。
在异常执行动作函数sit_rlt_process内增加
app_player_stop();
app_player_seturl(“/lfs/069_enter_test_env.mp3”);
注:由于提示音目前还没对外开放,就用了一个他们内部有的,后期可以自己设置提示音替换就可以。
(3)在工程内增加语音提示程序后,保存,利用电脑自带命令提示词编译和烧写程序,命令词如下。
https://docs2.listenai.com/x/W-UwdIBzk
(4)编译前命令
编译后结果
(5)用数据usb连接DAP_USB烧写口
(6)执行烧写命令,由于工程编译完的bin文件都生成在duomotai_ap\build\zephyr\zephyr.bin中。记得改COM对应的口。
(7)烧写过程中
烧写完成
(8)外挂一个stm32小板检测io口的状态,这io是坐姿异常就亮,正常就灭。
stm32小板检测到坐姿异常,io口低时就控制外置设备,如led亮;坐姿正常,io口高,led灯就灭。后期还可增加很多功能,目前就先做一个简易的。
(9)结果
摄像头对准自己,放在小孩做作业前,一旦有检测到坐姿不良,就会语音提示,同时有led灯亮灭等提醒。还可以语音对话智能问答。
bilibili视频请看链接:
https://www.bilibili.com/video/BV1Wx4y1U7RH/?spm_id_from=333.999.list.card_archive.click&vd_source=5af71fafcb43c62b64b69fac2b7f788e
聆思csk大模型开发板还有很多强大的功能:
可通过“小聆小聆”对设备进行唤醒
可通过语音交互与大模型进行智能问答
开发板摄像头实时对画面内的人物进行坐姿检测,但出现坐姿异常时,通过 LED 闪烁和语音进行提醒。
支持通过 USB 查看摄像头实时画面与坐姿检测结果。