基于全志Orangepi Zero 2 的语音刷抖音项目

目录

一、硬件连接

二、项目实现功能

三、SU-03T语音模块的配置和烧录

3.1 创建产品:

3.2 设置PIN引脚为串口模式:

3.3 设置唤醒词:

3.4 设置指令语句:

3.5 设置控制详情:

3.6 发音人配置:

3.7 其他设置:

3.7 下载SDK并烧录到语音模块SU-03T:

四、测试语音模块:

4.1 通过语音模块与串口助手连接测试语音模块:

4.2 用代码来测试语音模块:

五、将手机接入香橙派

5.1 查看手机是否接入:

5.2 ADB的认知和常用命令:

5.3 安装ADB:

5.4 设置手机权限:

5.5 使用shell指令来模拟手滑屏幕:

六、编程实现项目功能


一、硬件连接

二、项目实现功能

项目通过语音模块来输出指令控制手机刷抖音,可以实现:上一个、下一个、点赞等功能

  1. 开机播报少刷抖音多看书

  2. 当说出小布小布可以唤醒语音模块,模块回复我在呢

  3. 超过10S没有指令或者说出退下时,模块会进入到休眠模式,并且回复有需要再叫我

  4. 当说出下一个的时候,模块回复好的,并且通过串口发送指令给H616,让手机划到下一个视频

  5. 当说出上一个的时候,模块回复好的,并且通过串口发送指令给H616,让手机划到上一个视频

  6. 当说出点赞的时候,模块回复遵命,并且通过串口发送指令给H616,让手机点赞

  7. 当说出不看了的时候,模块回复拜拜,并且通过串口发送指令给H616,让手机锁屏

三、SU-03T语音模块的配置和烧录

3.1 创建产品:

3.2 设置PIN引脚为串口模式:

SU-03T语音模块的串口引脚是B6和B7,并设置相应的波特率

3.3 设置唤醒词:

3.4 设置指令语句:

3.5 设置控制详情:

3.6 发音人配置:

3.7 其他设置:

3.7 下载SDK并烧录到语音模块SU-03T:

 语音模块配置完成后,大约等待10-30分钟后,将语音模块生成的SDK下载到电脑中,用生成的SDK包中的烧录软件进行烧录:

四、测试语音模块:

4.1 通过语音模块与串口助手连接测试语音模块:

语音模块配置完成后,将语音模块与CH340串口助手链接,然后通过喊语音模块观察串口助手的指令

4.2 用代码来测试语音模块:

/*mySerialTool.c*/
#include <stdio.h>
#include <stdlib.h>
#include <stdint.h>
#include <stdarg.h>
#include <string.h>
#include <termios.h>
#include <unistd.h>
#include <fcntl.h>
#include <sys/ioctl.h>
#include <sys/types.h>
#include <sys/stat.h>

/*打开指定的串口设备,并设置波特率*/
int mySerialOpen(const char *device, const int baud)
{
    struct termios options; // 串口配置参数
    speed_t myBaud;         // 波特率
    int status, fd;         // 状态和文件描述符

    //根据传入的波特率参数设置相应的波特率
    switch(baud){
        case 9600:
            myBaud = B9600;
            break;
        case 115200:
            myBaud = B115200;
            break;
        default:
            printf("不支持的波特率!\n");
            return -2;
    }  

    //打开串口设备
    if( (fd = open(device, O_RDWR | O_NOCTTY | O_NDELAY)) == -1){
        printf("无法打开串口设备\n");
        return -1;
    }

     // 设置文件描述符的标志为读写模式
    fcntl(fd, F_SETFL, O_RDWR);

    // 获取当前串口配置
    tcgetattr(fd, &options);

    // 设置串口为原始模式,无特殊处理
    cfmakeraw(&options);
    // 设置输入波特率
    cfsetispeed(&options, myBaud);
    // 设置输出波特率
    cfsetospeed(&options, myBaud);

    // 清除标志位并设置数据格式
    options.c_cflag |= (CLOCAL | CREAD);
    options.c_cflag &= ~PARENB; // 无奇偶校验位
    options.c_cflag &= ~CSTOPB; // 1个停止位
    options.c_cflag &= ~CSIZE; // 清除数据位
    options.c_cflag |= CS8; // 设置为8位数据位
    options.c_lflag &= ~(ICANON | ECHO | ECHOE | ISIG); // 非规范模式,不执行输入处理
    options.c_oflag &= ~OPOST; // 输出处理

    // 设置读取时的超时和最小接收字符数
    options.c_cc[VMIN] = 0;
    options.c_cc[VTIME] = 100; // 10秒超时

    // 应用串口配置
    tcsetattr(fd, TCSANOW, &options);

    // 使用ioctl设置串口的DTR和RTS信号
    ioctl(fd, TIOCMGET, &status);
    status |= TIOCM_DTR;
    status |= TIOCM_RTS;
    ioctl(fd, TIOCMSET, &status);

    // 短暂延时
    usleep(10000); // 10毫秒延时

    return fd; // 返回文件描述符
}

/*向指定的串口设备发送字符串*/
void mySerialSendString(const int fd, const char *str)
{
    int ret;

    ret = write(fd, str, strlen(str));            // 发送字符串
    if(ret == -1){
        printf("串口发送失败!\n");
        exit(-1);                                 // 发送失败,退出程序
    }
}

/*从指定的串口设备读取字符串*/
int mySerialReadString(const int fd, char *buffer)
{
    int n_read;

    n_read = read(fd, buffer, 32);                // 读取串口数据
    if(n_read == -1){
        printf("串口读取失败!\n");
        exit(-1);                                 // 读取失败,退出程序
    }
}

/*从指定的串口设备读取一个字符*/
char mySerialGetChar(const int fd)
{
    char x;

    if(read(fd, &x, 1) != 1){
        printf("串口读取失败!\n");
        exit(-1);                                 // 读取失败,退出程序
    }
    return x;
}
/*mySerial.h*/
/*
* @Author: <NAME> 打开指定的串口设备,并设置波特率
*
* @param device 串口设备名称,如"/dev/ttyUSB0"
* @param baud 波特率,如9600、115200等
* @return 成功返回文件描述符,失败返回-1
*/
int mySerialOpen(const char *device, const int baud);

/*
* @Author: 向指定的串口设备发送字符串
*
* @param fd 串口设备文件描述符
* @param str 要发送的字符串 
* @return 无
*/
void mySerialSendString(const int fd, const char *str);

/*
* @Author: 从指定的串口设备读取字符串
*
* @param fd 串口设备文件描述符              
* @param buffer 读取到的字符串存放的缓冲区      
* @return 读取到的字符串的长度,失败返回-1
*/
int mySerialReadString(const int fd, char *buffer);

/*
* @Author: 从指定的串口设备读取一个字符
*
* @param fd 串口设备文件描述符
* @return 读取到的字符,失败返回-1
*/
char mySerialGetChar(const int fd);
/*mySerialTest2.c*/
#include <stdio.h>         // 包含标准输入输出库头文件
#include <string.h>        // 包含字符串处理库头文件
#include <errno.h>         // 包含错误号头文件
#include <stdlib.h>        // 包含标准库头文件
#include <pthread.h>       // 包含线程库头文件
#include <unistd.h>        // 包含unistd库头文件,用于延时
#include "mySerial.h"      // 包含自定义串口通信头文件

int fd;                                                                                      // 串口文件描述符

void* readSerial()
{
    char cmd;

    while(1){
        cmd = mySerialGetChar(fd);                                                             // 读取串口数据    
        switch(cmd){
            case 'c':
                printf("上一个\n");            
                break;
            case 'h':
                printf("下一个\n");                                  
                break;
            case 'j':
                printf("点赞\n");                           
                break;
            case '^':
                printf("不看了\n");
                break;
        }
    }
}

int main(int argc, char **argv)
{
    char deviceName[32] = {'\0'};                                                                  // 设备名
    pthread_t readThread;                                                                         // 读取线程                                                                    // 发送线程   

    if(argc < 2){
        printf("Usage: %s /dev/ttyS?\n", argv[0]);
        return -1;
    }

    strcpy(deviceName, argv[1]);                                                               // 拷贝设备名
    if( (fd = mySerialOpen(deviceName, 115200)) == -1){                                        // 打开串口
        printf("open %s failed\n", deviceName);
    }

    pthread_create(&readThread, NULL, readSerial, NULL);                                       // 创建读取线程

    while(1){
        sleep(10);                                                                              // 延时10秒
    }
    return 0;
}

五、将手机接入香橙派

将我的手机接入到香橙派,使用一颗TYPE-C的USB线连接到全志的USB2.0接口上

5.1 查看手机是否接入:

dmesg	//查看手机是否接入

输入dmesg指令查看手机接入情况,可见我的OPPO手机已经接入了

5.2 ADB的认知和常用命令:

ADB(Android Debug Bridge)是一种用于与安卓设备通信和调试的命令行工具。它是Android开发工具包(Android SDK)的一部分,用于在开发过程中连接、控制和调试Android设备或模拟器。

ADB提供了一组命令,允许开发者在计算机上执行各种操作,包括安装和卸载应用程序、传输文件、执行Shell命令、查看设备日志等。使用ADB,开发者可以与设备交互,调试应用程序、分析问题并进行性能优化。

ADB可以通过USB连接或通过网络连接到Android设备。通过USB连接,开发者可以直接将设备连接到计算机,并通过ADB命令与设备进行通信。通过网络连接,开发者可以使用无线网络连接到设备,从而无需使用USB线缆。

需要注意的是,ADB在设备上需要开启开发者选项和USB调试模式才能正常使用。此外,ADB还提供了一些高级功能,如端口转发、截屏、录屏等,以支持更丰富的开发和调试需求。

总的来说,ADB是Android开发中非常重要的工具,它简化了与Android设备的通信和调试过程,为开发者提供了更好的开发环境和工作效率。

ADB(Android Debug Bridge)是一个用于在计算机和 Android 设备之间进行通信的命令行工具。它允许开发者执行各种设备操作,例如安装和调试应用程序、访问设备的 Shell、复制文件到设备或从设备复制文件等。ADB 是 Android SDK 的一部分,开发者可以使用它与 Android 设备进行交互。

以下是一些常用的ADB命令:

  • 连接设备:

adb devices
  • 安装应用:

adb install example.apk
  • 卸载应用:

adb uninstall com.example.package
  • 启动应用:

adb shell am start -n com.example.package/.MainActivity
  • 查看设备信息:

adb shell getprop
  • 复制文件到设备:

adb push localfile.txt /sdcard/
  • 从设备复制文件:

adb pull /sdcard/remotefile.txt
  • 启动设备shell:

adb shell
  • 查看日志:

adb logcat

这只是一些常见的 ADB 命令示例,ADB 提供了更多的功能,可以帮助开发者进行 Android 应用程序的开发、调试和测试。请注意,使用 ADB 前需要确保 Android 设备已启用开发者选项和 USB 调试。

5.3 安装ADB:

由于安卓手机的底层也是用Linux系统来操作的,所以可以通过香橙派来直接进入控制手机shell的界面,但需要先安装adb工具

sudo apt-get install adb

安装完成之后,执行adb devices指令连接设备,但是好像发现权限不太对,因此需要在手机上设置权限

5.4 设置手机权限:

  • 报错的本质原因是香橙派系统还不支持USB设备的热拔插UDEV的机制

  • 解决办法:/etc/udev/rules.d 文件夹下创建规则文件:

cd /etc/udev/rules.d/
sudo vim 51-android.rules	

 在文件中添加内容:SUBSYSTEM=="usb", ENV{DEVTYPE}=="usb_device", MODE="0666"

然后重新拔插手机,然后再次执行adb devices指令:(前提手机已经代开开发者模式中的USB调试)

 然后输入adb shell启动设备shell:

连接手机成功!!!

5.5 使用shell指令来模拟手滑屏幕:

现在可以成功的连入手机内部的系统,关键就在于对于滑动或点击屏幕的指令模拟了:

  • adb shell input swipe <起始x坐标> <起始y坐标> <结束x坐标> <结束y坐标> <滑动持续时间ms>

  • adb shell input keyevent <按键事件的常量>

adb shell input swipe 540 1300 540 500 500 															//下滑
adb shell input swipe 540 500 540 1300 500 															//上滑
adb shell "seq 4 | while read i;do input tap 350 1050 & input tap 350 1050 &sleep 0.05;done;" 		//点赞
adb shell input keyevent 26 																		//锁屏

六、编程实现项目功能

/*mySerialTool.c*/
#include <stdio.h>
#include <stdlib.h>
#include <stdint.h>
#include <stdarg.h>
#include <string.h>
#include <termios.h>
#include <unistd.h>
#include <fcntl.h>
#include <sys/ioctl.h>
#include <sys/types.h>
#include <sys/stat.h>

/*打开指定的串口设备,并设置波特率*/
int mySerialOpen(const char *device, const int baud)
{
    struct termios options; // 串口配置参数
    speed_t myBaud;         // 波特率
    int status, fd;         // 状态和文件描述符

    //根据传入的波特率参数设置相应的波特率
    switch(baud){
        case 9600:
            myBaud = B9600;
            break;
        case 115200:
            myBaud = B115200;
            break;
        default:
            printf("不支持的波特率!\n");
            return -2;
    }  

    //打开串口设备
    if( (fd = open(device, O_RDWR | O_NOCTTY | O_NDELAY)) == -1){
        printf("无法打开串口设备\n");
        return -1;
    }

     // 设置文件描述符的标志为读写模式
    fcntl(fd, F_SETFL, O_RDWR);

    // 获取当前串口配置
    tcgetattr(fd, &options);

    // 设置串口为原始模式,无特殊处理
    cfmakeraw(&options);
    // 设置输入波特率
    cfsetispeed(&options, myBaud);
    // 设置输出波特率
    cfsetospeed(&options, myBaud);

    // 清除标志位并设置数据格式
    options.c_cflag |= (CLOCAL | CREAD);
    options.c_cflag &= ~PARENB; // 无奇偶校验位
    options.c_cflag &= ~CSTOPB; // 1个停止位
    options.c_cflag &= ~CSIZE; // 清除数据位
    options.c_cflag |= CS8; // 设置为8位数据位
    options.c_lflag &= ~(ICANON | ECHO | ECHOE | ISIG); // 非规范模式,不执行输入处理
    options.c_oflag &= ~OPOST; // 输出处理

    // 设置读取时的超时和最小接收字符数
    options.c_cc[VMIN] = 0;
    options.c_cc[VTIME] = 100; // 10秒超时

    // 应用串口配置
    tcsetattr(fd, TCSANOW, &options);

    // 使用ioctl设置串口的DTR和RTS信号
    ioctl(fd, TIOCMGET, &status);
    status |= TIOCM_DTR;
    status |= TIOCM_RTS;
    ioctl(fd, TIOCMSET, &status);

    // 短暂延时
    usleep(10000); // 10毫秒延时

    return fd; // 返回文件描述符
}

/*向指定的串口设备发送字符串*/
void mySerialSendString(const int fd, const char *str)
{
    int ret;

    ret = write(fd, str, strlen(str));            // 发送字符串
    if(ret == -1){
        printf("串口发送失败!\n");
        exit(-1);                                 // 发送失败,退出程序
    }
}

/*从指定的串口设备读取字符串*/
int mySerialReadString(const int fd, char *buffer)
{
    int n_read;

    n_read = read(fd, buffer, 32);                // 读取串口数据
    if(n_read == -1){
        printf("串口读取失败!\n");
        exit(-1);                                 // 读取失败,退出程序
    }
}

/*从指定的串口设备读取一个字符*/
char mySerialGetChar(const int fd)
{
    char x;

    if(read(fd, &x, 1) != 1){
        printf("串口读取失败!\n");
        exit(-1);                                 // 读取失败,退出程序
    }
    return x;
}
/*mySerial.h*/
/*
* @Author: <NAME> 打开指定的串口设备,并设置波特率
*
* @param device 串口设备名称,如"/dev/ttyUSB0"
* @param baud 波特率,如9600、115200等
* @return 成功返回文件描述符,失败返回-1
*/
int mySerialOpen(const char *device, const int baud);

/*
* @Author: 向指定的串口设备发送字符串
*
* @param fd 串口设备文件描述符
* @param str 要发送的字符串 
* @return 无
*/
void mySerialSendString(const int fd, const char *str);

/*
* @Author: 从指定的串口设备读取字符串
*
* @param fd 串口设备文件描述符              
* @param buffer 读取到的字符串存放的缓冲区      
* @return 读取到的字符串的长度,失败返回-1
*/
int mySerialReadString(const int fd, char *buffer);

/*
* @Author: 从指定的串口设备读取一个字符
*
* @param fd 串口设备文件描述符
* @return 读取到的字符,失败返回-1
*/
char mySerialGetChar(const int fd);
/*mySerialTest.c*/
#include <stdio.h>         // 包含标准输入输出库头文件
#include <string.h>        // 包含字符串处理库头文件
#include <errno.h>         // 包含错误号头文件
#include <stdlib.h>        // 包含标准库头文件
#include <pthread.h>       // 包含线程库头文件
#include <unistd.h>        // 包含unistd库头文件,用于延时
#include "mySerial.h"      // 包含自定义串口通信头文件

int fd;                                                                                      // 串口文件描述符

void* readSerial()
{
    char cmd;

    while(1){
        cmd = mySerialGetChar(fd);                                                             // 读取串口数据    
        switch(cmd){
            case 'c':
                printf("上一个\n");
                system("adb shell input swipe 540 500 540 1300 100");                       
                break;
            case 'h':
                printf("下一个\n");
                system("adb shell input swipe 540 1300 540 500 100");                                     
                break;
            case 'j':
                printf("点赞\n");
                system("adb shell \"seq 4 | while read i;do input tap 350 1050 & input tap 350 1050 &sleep 					0.05;done;\"");   // 点赞                                   
                break;
            case '^':
                printf("不看了\n");
                system("adb shell input keyevent 26");                                              // 不看了 
                break;
        }
    }
}

int main(int argc, char **argv)
{
    char deviceName[32] = {'\0'};                                                                  // 设备名
    pthread_t readThread;                                                                         // 读取线程                                                                    // 发送线程   

    if(argc < 2){
        printf("Usage: %s /dev/ttyS?\n", argv[0]);
        return -1;
    }

    strcpy(deviceName, argv[1]);                                                                 // 拷贝设备名
    if( (fd = mySerialOpen(deviceName, 115200)) == -1){                                          // 打开串口
        printf("open %s failed\n", deviceName);
    }

    pthread_create(&readThread, NULL, readSerial, NULL);                                       // 创建读取线程

    while(1){
        sleep(10);                                                                                // 延时10秒
    }
    return 0;
}

  • 18
    点赞
  • 16
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值