DeepReDuce: ReLU Reduction for Fast Private Inference

概述

本文提出了DeepReDuce:一组用于明智地删除relu以减少私有推理延迟的优化。关键的观点是，并非所有relu对准确性的贡献都是一样的。我们利用这种洞察力从经典网络中删除relu，以显着减少推理延迟并保持高准确性。给定网络架构，DeepReDuce输出网络的Pareto边界，以权衡relu的数量和准确性。下图为DeepReDuce的结构。

ReLU Culling

$C_k$:表示第k个阶段的ReLU的重要性。$S$