目录
一、总体概况
总的来说,语音模块根据对应的语音信号转化为电信号,并向H616输出对应的数据,H616根据对应的数据进行相应的adb操作,然后再抖音APP显示。
语音模块:语音信号——>电信号
H616:电信号——>指令信息
指令信息——>滑动屏幕操作
抖音:显示操作
二、语音模块配置
进入语音模块官网智能公元/AI产品零代码平台
模组选择SU-03T
然后填写产品名字和语言。
Pin脚配置
唤醒词,唤醒回复默认即可
离线命令词与应答语自定义
设置完成,生成语音SDK,下载即可,将下载好的压缩包解压至硬盘
进入解压后的文件夹D:\uni_hb_m_solution-83049-20221229.tar\uni_hb_m_solution-83049-20221229\uni_hb_m_solution\image_demo\Hummingbird-M-Update-Tool,打开里面的应用程序
将语音模块过串口的方式连接USB转TTL插入电脑USB口
选择镜像文件uni_app_release_ipdata.bin,选择烧录,给设备上电,完成固件烧录
完成烧录后可根据提前设定的问答以及串口助手验证是否成功。
三、linux adb操作控制android手机
准备Android系统的手机一部,usb数据线,用数据线将全志板子和手机进行连接。
adb(Android debug bridege)是安卓调试桥,可以对装有安卓系统的终端进行调试。
第1步:查看信息
dmesg
可以看到板子信息上面显示出了新的usb设备是我的手机16s
第2步:命令安装adb工具
sudo apt-get install adb
第3步:命令查看设备
adb devices
可以看到adb检查到的串行设备数字
第4步:打开手机开发者选项,允许usb进行调试
第5步:adb shell进入手机
第6步:用adb指令进行手机触屏操作
adb shell input swipe 540 1300 540 500 100 // 下滑
adb shell input swipe 540 500 540 1300 100 //上滑
adb shell input swipe 540 500 1000 500 100 // 右滑
adb shell input swipe 1000 500 540 500 100 // 左滑
adb shell "seq 3 | while read i;do input tap 350 1050 & input tap 350 1050 & sleep 0.01;done;" //双击
adb shell input keyevent KEYCODE_SLEEP //熄屏
这里后面前4个数字是分别是x1,y1,x2,y2
四、代码实现功能
关键代码如下,通过串口向H616发送数据,然后根据发送过来的数据执行对应的adb指令
void* readSerial()
{
char cmd;
while(1){
cmd = myserialGetchar(fd);
switch(cmd){
case 'N':
printf("next\n");
system("adb shell input swipe 540 1300 540 500 100");
break;
case 'P':
printf("pre\n");
system("adb shell input swipe 540 500 540 1300 100");
break;
case 'L':
printf("Left\n");
system("adb shell input swipe 1000 500 540 500 100");
break;
case 'R':
printf("right\n");
system("adb shell input swipe 540 500 1000 500 100");
break;
case 'Z':
printf("zan\n");
system("adb shell \"seq 3 | while read i;do input tap 350 1050 & input tap 350 1050 & sleep 0.01;done;\"");
break;
case 'G':
printf("Guan\n");
system("adb shell input keyevent KEYCODE_SLEEP");
break;
}
}
}
编译执行即可