“高效的隐私保护的张量分解方法研究”学习笔记（中）

隐私保护的高阶 Bi-Lanczos 方法的介绍

隐私保护的高阶 Bi-Lanczos 方法，该方法能够在不泄露用户数据隐私的情况下在云端和雾端进行高阶 Bi-Lanczos 计算。

假设用户需要对一个张量表示的大数据进行 HOSVD 分解，但由于其所拥有的计算设备的存储能力和计算能力有限，用户需要借助云计算与雾计算的存储优势和计算优势来完成以上需求。考虑到用户需要对隐私数据进行保护，所以不想将数据公开上传到雾端和云端，这个时候就需要考虑如何在雾端和云端进行安全的存储与计算操作，这也正是我们接下来需要探讨的问题。如下图所示：

数据采集层：数据采集层由用户的终端设备以及各种智能采集设施等组成，它们对智慧家庭、智慧交通等智能应用中的数据进行采集，并将采集到的数据通过张量进行融合，加密后传输到云端和雾端进行安全的存储和计算工作。

雾计算层：该层由雾计算节点 $F_1,F_2,\cdots ,F_n$ 组成，用于对加密数据进行存储与处理。通常该层会与云计算层进行协同工作。

云计算层：该层由云计算节点 $C_1,C_2$ 组成，通过云计算节点和雾计算节点的相互协作，完成在加密数据上的安全的隐私保护张量运算。

应用层：该层接收雾-云计算层返回的密文结果，解密后可以用在相应的智能应用中。

高阶 Bi-Lanczos 方法的实现

$\text{ 输入: }\text{ 张量 }M\in R^{I_1\times I_2\times \cdots \times I_H\times I_{H+1}\times \cdots \times I_S}$
$\text{ 输出: 对角矩阵 }B\in R^{k\times k}$
$\text{ 张量 }W\in R^{I_1\times I_2\times \cdots \times I_H\times k},\text{ 其中子张量 }{W}_i\in R^{I_1\times I_2\times \cdots \times I_H}\text{ 满足两两正交 }$
$\text{ 张量 }Q\in R^{k\times I_{H+1}\times I_{H+2}\cdots \times I_5},\text{ 其中子张量 }{Q}_i\in R^{I_{H+1}\times I_{H+2}}\cdots \times I_S\text{ 满足两两正交 }$

高阶 Bi-Lanczos 算法

算法推导

任意给定一个张量 $M\in R^{I_1\times I_2\times \cdots I_H\times I_{H+1}\times \cdots I_S}$，高阶 Bi-Lanczos 算法可以将该张量转化为一个对角矩阵 $B\in R^{k\times k}$ 与两个张量$W\in R^{I_1\times I_2\times \cdots I_H\times k}$ 、 $Q\in R^{k\times I_H\times I_{H+1}\times \cdots I_S}$ ，其中，张量 W 的子张量 $W_i\in R^{I_1\times I_2\times \cdots I_H}$ 满足两两正交，张量 Q 的子张量 $Q_i\in R^{I_{H+1}\times I_{H+2}\times \cdots I_S}$ 也满足两两正交，并且满足公式：

$$M=W{\times }_1\left(B{\times }_1{Q}^T\right)=\left(W{\times }_{1}B\right)\times {}_1{Q}^T$$

可以推导出：
$$M{\ast }_{S-H}Q=W{\times }_{1}B$$

$$M^T{\ast }_{H}W=Q\times {}_1{B}^T$$
注：${\text{ 其中符号* }}_N\text{ 表示 }X\text{ 的后 }N\text{ 阶与 }Y\text{ 的前 }N\text{ 阶做多模乘运算 }$，其中符号 ${\times }_m^n$ 表示张量 X 的第 n 阶和张量 Y 的第 m 阶做单模乘运算。通常将 $X{\times }_1^{N}Y$记为 $X{\times }_1^{}Y$

对上面两个等式分别进行展开，可得：
$$M_{S-H}^{\ast }{Q}_i={\beta }_{i+1}{W}_{i+1}+{\alpha }_i{W}_i$$

$$M^T{\ast }_{H}W={\alpha }_i{Q}_i+{\beta }_i{Q}_{i-1}$$

由于W的子张量 $W_1,W_2,\cdots ,W_k$ 两两相互正交，我们可以上面的等式两端分别乘以 $W_i$ 和 $Q_i$， 推导出：
$${\alpha }_i=\Vert M^T{\ast }_H{W}_i-{\beta }_i{Q}_{i-1}\Vert$$

$${\beta }_i=\Vert M_{s-H}^{\ast }{Q}_i-{\alpha }_i{W}_i\Vert$$

这样子我们就可以得到高阶的 Bi-Lanczos 算法啦！

隐私保护的高阶 Bi-Lanczos 算法

在系统初始化阶段，云节点 $C_2$ 利用同态加密技术生成公钥 $pk$ 和私钥 $sk$ ，并将公钥 $pk$ 分发给云节点 $C_1$ 和雾节点 $F_1,F_2,\cdots ,F_n$，同时自身保留私钥 $sk$ 。

在用户数据加密阶段，用户终端根据随机生成的扰动 $r$ 对所需要处理的数据进行加密，并将加密数据和扰动分开上传到云节点 $C_1,C_2$以及雾计算节点 $F_1,F_2,\cdots ,F_n$ 中。

云节点 $C_1,C_2$ 以及雾节点 $F_1,F_2,\cdots ,F_n$ 利用之前获得的公钥 $pk$ 对密文进行进一步的同态加密以及后续处理后，进行下一步隐私保护的高阶 Bi-Lanczos 计算。

云节点 $C_1,C_2$ 以及雾节点 $F_1,F_2,\cdots ,F_n$ 相互配合，结合同态加密技术，实现隐私保护的高阶 Bi-Lanczos 计算。

隐私保护的高阶 Bi-Lanczos 算 法（PPHOBL），其关键点在于利用雾端和云端海量的存储能力和计算能力来执行高阶 Bi-Lanczos 算法，同时保证雾端和云端对用户的数据一无所知并且PPHOBL 方案的计算结果应该等于明文状态下高阶 Bi-Lanczos 算法的计算结果。

安全计算子协议介绍

标量与张量安全乘法协议
标量 $[|a|]$ 与张量 $[|X|]\in R^{I_1\times I_2\times \cdots I_N}$ 做乘法运算，等价于标量 $[|a|]$ 与张量 $[|X|]$ 中的每个元素做安全乘，最终可以得到一个同等大小的张量 $[|Y|]\in R^{I_1\times I_2\times \cdots I_N}$

Markdown的有些符号无法输出，所以只能用图片了╮(╯-╰)╭

同上，张量的张量与标量安全除法协议、张量与张量安全减法协议、张量与张量间安全的爱因斯坦乘协议、张量安全范数协议我就直接上公式了。

张量与标量安全除法协议

张量与张量安全减法协议

张量与张量间安全的爱因斯坦乘协议

张量安全范数协议

算法实现

$\text{ 输入: }\text{ 张量 }M\in R^{I_1\times I_2\times \cdots \times I_H\times I_{H+1}\times \cdots \times I_S}$
$\text{ 输出: 对角矩阵 }B\in R^{k\times k}$
$\text{ 张量 }W\in R^{I_1\times I_2\times \cdots \times I_H\times k},\text{ 其中子张量 }{W}_i\in R^{I_1\times I_2\times \cdots \times I_H}\text{ 满足两两正交 }$
$\text{ 张量 }Q\in R^{k\times I_{H+1}\times I_{H+2}\cdots \times I_5},\text{ 其中子张量 }{Q}_i\in R^{I_{H+1}\times I_{H+2}}\cdots \times I_S\text{ 满足两两正交 }$

1.在用户终端，随机生成一个张量 $D\in R^{I_1\times I_2\times \cdots \times I_H\times I_{H+1}\times \cdots I_S}$ ， 并通过扰动加密，得到张量 M 的加密形式 $[M]$ ， $[M]$ 包含扰动张量 $[M{]}_D$ 和加密张量 $[M{]}_S$；

2.将 $[M{]}_D$ 和 $[M{]}_S$ 分别发送给云节点 $C_1$ 或 $C_2$ ，或雾节点 $F_1,F_2,\cdots ,F_n$ ；

3.将 $[M]$ 转化为同态加密张量 $[|M|]\in R^{I_1\times I_2\times \cdots I_H\times I_{H+1}\times \cdots I_S}$；

4.初始化一个随机张量 $W_1\in R^{I_1\times I_2\times \cdots I_H},\text{ 满足 }{\Vert W_1\Vert }_F=1,$同态加密后得到$\left[|W_1|\right]\in R^{I_1\times I_2\times \cdots I_H}$；

5.初始化一个加密张量$\left[|Q_0|\right]\in R^{I_{H+1}\times I_{H+2}\cdots \times I_S}$ 令 $Q_0=0$；
6.初始化工作完成后，进入 for 循环


7.将同态加密张量 $[|W|]、[|B|]、[|Q|]$ 转换为$[W]、[B]、[Q]$ ，并发送给用户；
8.在用户终端，对 $[W]、[B]、[Q]$ 进行解密，得到结果 W、B、Q。

在运算过程中，只有雾计算节点 $F_1,F_2,\cdots ,F_n$ 和云计算节点 $C_1$ 可以存储用户所上传数据的同态加密密文 $[|M|]$ 、中间计算结果的同态加密密文以及 PPHOBL 最终计算结
果的密文 $[|W|]、[|B|]、[|Q|]$ ，但由于他们没有私钥sk ，所以不能对数据进行解密，云计算节点 $[|C|]$ 只存储计算过程中的部分盲化数据或随机数据，即使有私钥sk 也无法获取用户数据。所以基于“雾-云”隐私保护框架的 PPHOBL方案在该模型下是安全的。

分布式实现

为了充分利用云端和雾端的分布式存储与计算优势，我们设计并实现了一个分布 式的隐私保护的高阶 Bi-Lanczos 算法。

张量与张量安全的爱因斯坦乘，是在“雾-云”环境中对张量爱因斯坦乘的安全实现。假设张量爱因斯坦乘的两个张量对象分别为 $[|X|]\in R^{I_1\times I_2\times \dots \times I_M\times H_1\times H_2\times \cdots H_N}$ 和 $[|Y|]=R^{H_1\times H_2\times \dots \times H_N\times J_1\times J_2\times \cdots \times J_O}$，它们做爱因斯坦乘后的结果中的每个元素等于 ${\sum }_{h_1=1}^{H_1}{\sum }_{h_2=1}^{H_2}\cdots {\sum }_{h_N=1}^{H_N}\left[|X\left(i_1,i_2,\cdots ,i_M,h_1,h_2,\cdots ,h_N\right)\right|][|Y\left(h_1,h_2,\cdots ,h_N,j_1,j_2,\cdots ,j_0\right)|]$，即根据每个元素的坐标，固定 $i_1,i_2,\cdots ,i_M$ 得到 X 的子张量，固定 $j_1,j_2,\cdots ,j_O$ 得到 Y 的子张量，然后两个子张量做内积，最终得到该坐标处的元素值。因为不同坐标处的元素值的计算互不影响，所以我们可以在前 M 阶对 $[|X|]$ 进行分块，不同分块之间独立地与 $[|Y|]$ 进行爱因斯坦乘，当所有分块都计算完成后，按照顺序重新合并为一个大的张量:

$$[|X|]{\ast }_N[|Y|]=([|X|{]}_1{\ast }_N[|Y|],[|X|{]}_2{\ast }_N[|Y|],\cdots ,[|X|{]}_k{\ast }_N[|Y|]$$

如下图所示：

张量安全内积， 计算结果等于 $[|X|]$ 中的所有元素与 $[|Y|]$ 中的所有对应元素做安全乘，然后求和。在这个过程中对应元素之间的安全乘是相互独立的，互不影响，因此可以并行地做运算。同理，张量与张量安全减法、张量与标量安全乘和安全除亦是如此。

个人理解：不知道学过张量切片和展开的小伙伴会不会觉得上面所讲的分布式实现与张量切片和展开极其的相似。没错，在我看来分布式实现所运用到的分块方法就是张量切片与展开的另外一种形式。之前我们学的张量的切片是将一个 N 阶张量选取任意 N-2 个阶固定，对于剩余两阶不固定，所得到的所有元素组成一个张量切片，也就是将我们的张量最后变成了矩阵。在这里分块的操作和张量切片一样，不同的是我们最后的到的结果是将一个大张量变成了三阶张量或者矩阵。为什么我写的是将一个大张量变成了三阶张量或者矩阵呢？其实大部分的情况下，我们会看到很多论文中所描述的是将大张量最后只是分解成了三阶张量，但是我们在进行实际运算的时候还是需要将分解后的三阶张量变成矩阵，经过这样的处理张量之间的运算就变得更加简单

整个分布式体系结构分为两部分。第一部分为中心控制节点，即 Controller。 它负责增加或删除节点、启动与关闭集群、初始化数据、根据负载动态分发 数据、分发指令、合并返回的结果等功能。第二部分为若干个计算子节点，即 Worker。 Worker 启动后总是处于监听状态，一旦接收到 Controller 发送过来的指令和数据，就 根据指令执行相应的计算任务，计算完成后将结果返回给 Controller。如下图所示：

整个算法中的所有运算都可以通过合理的分块、交付给不同节点进行处理、合并并行计算结果这三个步骤来实现分布式计算。对于计算成本，用户终端只需要在将数据发送到云端和雾端之前对数据进行加密，以及在结果返回后对结果进行解密即可。

下期预告：隐私保护的基于张量链的高效 Tucker 分解方法