1.TEESLICE
TEESLICE将DNN模型分为public backbone和Mobel Slice两个部分组合成为
h
y
b
r
i
d
m
o
d
e
l
hybrid \ model
hybrid model 。每个切片将前一层骨干的输出作为输入并且对下一层骨干产生输入。
在下图中最右侧的便为本文的解决方案，即黄色选框为public backbone ，蓝色选框为model slice。
为了解决slices可以在TEEs中足够小或者精确度不消失。本文利用了一个两阶段方法。
- 首先 构建一个 M h y b M_{hyb} Mhyb的实例，一个密集的sliced模型（表示为 M d e n s e M_{dense} Mdense）大量的私有slices可以实现高精准性。
- 其次TEESLIC自适应裁剪
M
d
e
n
s
e
M_{dense}
Mdense，迭代裁剪策略：产生更少的切片并且不损
M
h
y
b
M_{hyb}
Mhyb的性能。裁剪模型是另一个
M
h
y
b
M_{hyb}
Mhyb的实例。叫做稀疏的切片模型表示为
M
s
p
a
r
s
e
M_{sparse}
Msparse
裁剪是与训练阶段同时发生的，TEESLICE可以以极低的精准度下降来裁剪切片。
2.设计细节
TEESCLICE包括两个阶段：模型切片提取(训练阶段)和混合模型部署(推理阶段)。切片提取阶段通过在保持准确性和安全性的同时最小化效用成本自动的发现最佳点。
2.1模型切片提取
2.1.1密集切片模型生成
L
i
L_i
Li表示第
i
i
i层的公共框架。
A
p
i
A^i_p
Api表示私有切片，它连接
L
P
a
n
d
L
I
L_P and \ L_I
LPand LI
当层对中层的距离小于3时，
M
d
e
n
s
e
M_{dense}
Mdense中的切片从框架中连接层对。
在训练阶段TEESLICE会为每一个切片指定一个重要的标量
a
p
i
a_p^i
api,
A
p
i
A_p^i
Api的结果会乘上这一个标量发送到下一层。
2.1.2迭代切片裁剪
迭代切片裁剪的算法如下图所示。
2.2混合模型部署
混合模型部署需要解决两个问题：
- 如何加密在GPU和TEE之间的特征传输？
- 如何证明卸载在GPU上计算的正确性？
特征加密 首先量化
h
h
h为8 bit 输入然后加密
h
e
=
(
h
^
+
r
)
%
p
h_e=(\hat{h}+r)\%p
he=(h^+r)%p其中
r
r
r为随机掩码。GPU接受
h
e
h_e
he计算
g
(
h
e
)
g(h_e)
g(he)并且返回结果到TEE.TEESLICE通过计算
g
(
h
^
)
=
g
(
h
e
)
−
g
(
r
)
g(\hat{h})=g(h_e)-g(r)
g(h^)=g(he)−g(r)解密结果。
结果验证 Freivalds’ algorithm：
g
(
h
)
T
s
=
h
T
s
^
g(h)^Ts=h^T\hat{s}
g(h)Ts=hTs^
3.实验
pytorch1.7
532
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
