TAHOMA
应用场景:
主要关注在推理之前加载和准备数据的成本,但目的是减少DNN执行成本
(1)在这种情况下,大量历史图像数据归档储存在本地驱动器上。每个图像都必须首先从硬盘中加载,然后转换为分类器的适当输入格式。
(2)视频从其源头不断地摄取到一个基于数据中心的查询系统中,在这里,视频被转化为适当的表示形式,存储在SSD上,供以后查询。由于这些数据是在获取时进行转换的,所以在查询时只考虑从磁盘加载表示的成本。
(3)如果计算节点在网络的边缘(例如,连接到监控摄像头),图像可以直接提供给分类器。因为从摄像机到内存的传输成本可以忽略不计,因此只考虑图像转换成本。
解决的问题:
图像分类
将基于内容的查询限制为二分类查询
Baseline:
Resnet50分类器、NoScope
描述:
通过分类器级联,优化数据处理成本并加快分析处理的速度。
Example:
假如有两个图像分类模型M1和M2
M1:接收3通道全彩色224224图像作为输入,卷积层较少 ——>推理更快
M2:接收1通道灰度224224图像作为输入,附加卷积层 ——> 精度高
Motivation:
深度神经网络在分析数据库系统部署时,会带来相当大的计算挑战:一个模型对单幅图像的推理可能需要一系列冗长的大张量乘法,即处理成本很高。
当今的可视计算系统只专注于计算,而忽略了不可避免的数据处理成本,例如:加载和转换。任何只关注减少计算计算量的查询优化方法都无法利用以复杂数据为中心的权衡,这些权衡包括图像的数据量、分类器的准确性和数据处理成本。
Goal:
优化数据处理成本,加快分类查询。
Problem/Challenges:
对于特定的应用,如何在速度和精确度之间做一个权衡。
Solution:
用快速、高精度(但召回率低)的图像分类器的级联,在速度和精度之间做一个权衡
系统开源否:
不开源
数据集开源否:
imagenet数据集以及NoScope数据集
运行环境:
单机
流程:
(1)系统初始化:对于每个二元谓词,生成一组标记数据,训练一组模型,并提供给成本分析器和级联生成器。成本分析器测量每个模型的吞吐量(每秒分类的次数),级联生成器生成所有可能的组合。级联评估器测量每个级联的准确性和吞吐量。
(2)查询执行:级联选择器,根据用户请求,选择最优级联。