Android NN CTS/VTS测试

Android NN API:

Link: Neural Networks API  |  Android NDK  |  Android Developers

• 基于测试设备，搭建CTS/VTS环境

  • 板子系统：Android Metal(Android系统直接运行在SoC上)或者运行在Hypervisor或Container上的Android系统
  • 板子状态：USB device mode, WiFi连接，设置屏幕为常亮
  • PC环境：基于Linux环境测试； 拷贝官网下载CTS/VTS测试包到Linux环境
  • 网络：通过VPN能访问google

• Android板子环境设置

  • FDR： Factory Data Reset, 恢复出厂设置
  • 使能USB debug模式
  • 设置日期和时间
  • 连接WiFi, BT(部分CTS测试项依赖于BT和WiFi)
  • 连接位置
  • 延长熄屏时间： adb shell settings put systems screen_off_timeout 999999999

• PC环境设置

  • 安装WSL(Windows Subsystem for Linux):
    • 控制面板===程序 === 启用或关闭Windows功能 === 选中 ”适用于Windows的Linux子系统"
    • 微软商店 === 搜索Ubuntu 18.04，点击安装
    • 打开WSL, ls /mnt/c 就能看到Windows系统中C盘中的文件
    • 详细安装教程： 安装 WSL | Microsoft Docs
  • WSL中安装Python和JDK
    • #sudo apt update
    • #sudo apt install python
    • #sudo apt install openjdk-11-jdk-headless
    • 设置JAVA环境:
      • 编辑 ~/.bashrc,  在.bashrc文件末尾添加下面4条设置环境变量的语句。 添加完成后执行source ~/.bashrc, 以立即生效。
      • export JAVA_HOME=/usr/bin/jvm/java-11-openjdk-amd64
      • export JRE_HOME=${JAVA_HOME}/jre
      • export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
      • export PATH=${JAVA_HOME}/bin:${PATH}
      • 检查Java版本和javac是否可用： #java --version    #javac
  • 设置ADB：
    • Windows下的adb版本需要与WSL中的adb版本相同
      • 可以在网上下载针对Windows和Linux的版本
      • 也可以用如下方法： 在WSL中先手动安装adb，即sudo apt-get install adb； 然后将windows中的adb.exe 链接到 WSL中 sudo ln -s /mnt/c/Windows/System32/adb.exe /usr/bin/adb
  • 准备接入play.googleapis.com的验证证书，可以参考下面的链接：解决jdk证书问题 生成jssecacerts PKIX path building failed: sun.security.provider.certpath.SunCertPathBuilde... - Leo_dreasky - 博客园
    • 拷贝InstallCert.java到WSL中
    • #javac InstallCert.java  编译得到InstallCert文件
    • 通过VPN连接到外网
    • Access server with InstallCert to retrieve the certificate: 
      • #java InstallCert play.googleapis.com
        • Log: Opening connection to play.googleapis.com:443……Added certificate to keystore 'jssecacerts' using alias 'play.googleapis.com-1'
    • #cp jssecascerts $JAVA_HOME/jre/lib/security/
  • 拷贝cts、vts到test suite
    • 根据要测试安卓版本和PC的系统，在google开发者网站下载test suite： android-cts-11_r5-linux_x86-arm.zip和android-vts-11_r5-linux_x86-arm.zip
    • #sudo -i
    • #cp /mnt/c/android-cts-11_r5-linux_x86-arm.zip /mnt
    • #unzip /mnt/android-cts-11_r5-linux_x86-arm.zip
    • #cd /mnt/android-cts-11_r5-linux_x86-arm/android-cts/tools
    • #./cts-tradefed
    • cts-tf>run cts -m "CtsOpenGlPerf2TestCases"

  • 常用CTS/VTS命令

    命令	注释
    help run	获得命令信息
    run cts -m module_name	对某一模块名称运行cts测试
    run cts --subplan subplan_name	按计划运行cts测试
    run retry --retry session_id	重新运行失败的cts case