目标检测-性能

Performance benchmark numbers for our starter model are generated with the tool described in Section 1

Model Name	Model size	Device	GPU	CPU
COCO SSD MobileNet v1	27 Mb	Pixel 3 (Android 10)	22ms	46ms*
		Pixel 4 (Android 10)	20ms	29ms*
		iPhone XS (iOS 12.4.1)	7.6ms	11ms**

其中 * 4 threads used. ** 2 threads used on iPhone for the best performance result.

1. 性能跑分

本文档列出了在一些 Android 和 iOS 设备上运行常见模型时 TensorFlow Lite 的跑分。

这些跑分数据由 Android TFLite benchmark binary 及 iOS benchmark app 产生。

1.1 安卓环境的跑分

对于安卓环境的跑分，为了减少设备间的差异性，CPU 亲和性被设置为使用大核跑分（参见第2章）。

假设模型被下载并解压缩到 /data/local/tmp/tflite_models 路径。用于跑分的二进制文件

使用 这些命令构建。 此外，我们假设该文件位于 /data/local/tmp 目录。

使用以下语句运行跑分:

adb shell taskset ${CPU_MASK} /data/local/tmp/benchmark_model \
  --num_threads=1 \
  --graph=/data/local/tmp/tflite_models/${GRAPH} \
  --warmup_runs=1 \
  --num_runs=50 \
  --use_nnapi=false

在这里， ${GRAPH}是模型的名字， ${CPU_MASK} 是CPU亲和度设置。 请从下表中选择:

Device	CPU_MASK
Pixel 2	f0
Pixel xl	0c

模型名称	设备	平均推理时间
Mobilenet_1.0_224(float)	Pixel 2	123.3 ms
	Pixel XL	113.3 ms
Mobilenet_1.0_224 (quant)	Pixel 2	65.4 ms
	Pixel XL	74.6 ms
NASNet mobile	Pixel 2	273.8 ms
	Pixel XL	210.8 ms
SqueezeNet	Pixel 2	234.0 ms
	Pixel XL	158.0 ms
Inception_ResNet_V2	Pixel 2	2846.0 ms
	Pixel XL	1973.0 ms
Inception_V4	Pixel 2	3180.0 ms
	Pixel XL	2262.0 ms