“高效的隐私保护的张量分解方法研究”学习笔记（下）

隐私保护的基于张量链的高效 Tucker 分解方法是对基于梯度下降的 Tucker 分解算法的改进，同时保证在云端或雾端进行运算时不泄露用户的隐私数据。

隐私保护的基于张量链的高效 Tucker 分解方法包括系统初始化与用户数据加密、隐私保护的基于张量链的高效 Tucker 分解计算两部分。系统初始化与用户数据加密的流程同上篇博客，此处便不再赘述。

基于梯度下降的 Tucker 分解算法

三阶张量 $\underline{T}\in R^{I_1\times I_2\times I_3}$ 的 Tucker 分解：

$$\underline{T}=\underline{C}\times {}_1{U}_1\times {}_2{U}_2\times {}_3{U}_3$$

其中 $U_1\in R^{I_1\times R_1},U_2\in R^{I_2\times R_2},U_3\in R^{I_3\times R_3}$ 为三个不同阶上的因子矩阵，$\underline{C}\in R^{R_1\times R_2\times R_3}$ 为核心张量。

构造损失函数：

$$L\left(U_1,U_2,U_3,\underline{C}\right)=\frac{1}{2}{\Vert T-\underline{C}\times {}_1{U}_1\times {}_2{U}_2\times {}_3{U}_3\Vert }_F^2$$

对每个变量求导可以得到：

这上面一大串是什么？看不懂啊！我也不会::>_<::
在我请教了实验室的师兄之后，嘻嘻，我弄明白啦o(^＠)o

先解释一下这些符号代表什么意思：
${\mathbf{t}}_{i_1{i}_2{i}_3}$表示原张量 $T$ 中的一个数，是已知的；
$u_{i_1:}^{(1)}$ 中下标就 $i_1$ 是指某一阶，上标(1)是指因子矩阵 $U_1$，它是为了避免后面进行伪代码说明时混淆因子矩阵而进行标记的，不参与计算实际的计算；
${\times }_m^n$ 表示前面张量的第 n 阶和后面张量的第 m 阶做单模乘运算。

接下来就可以进行公式的解释了。已知损失函数 $L\left(U_1,U_2,U_3,\underline{C}\right)=\frac{1}{2}{\Vert T-\underline{C}\times {}_1{U}_1\times {}_2{U}_2\times {}_3{U}_3\Vert }_F^2$，利用我们高数里面学过的求偏导的方法对因子矩阵 $U_1$ 的 $i_1$ 维度求导：

同理，利用求偏导的方法对因子矩阵 $U_2$ 的 $i_2$ 维度、因子矩阵 $U_3$ 的 $i_3$ 维度求导：

利用求偏导的方法对核心张量求导：

在迭代过程中，不断最小化该损失函数，直至损失函数达到最小值时，我们认为$U_1,U_2,U_3,\underline{C}$ 满足公式 $\underline{T}\approx \underline{C}\times {}_1{U}_1\times {}_2{U}_2\times {}_3{U}_3$

基于梯度下降的 Tucker 分解算法

输入：张量 $\underline{T}\in R^{I_1\times I_2\times I_3}$，误差阈值 $\epsilon$，最大迭代次数 ${\text{ Iter }}_{\text{max }}$

输出：核心张量 $\underline{C}\in R^{R_1\times R_2\times R_3}$，低秩矩阵 $U_1\in R^{I_1\times R_1},U_2\in R^{I_2\times R_2},U_3\in R^{I_3\times R_3}$

基于梯度下降的 Tucker 分解算法可以较好地拟合 Tucker 分解结果，但在进行更新操作与求导操作时，算法需要遍历张量对象中的所有元素，这会消耗大量的计算时间。考虑对该部分进行优化，于是基于张量链的高效 Tucker 分解算法就被提出。

基于张量链的高效 Tucker 分解算法

通过对算法进行分析我们发现，由于张量对象通常含有大量元素，同时基于梯度下降的 Tucker 分解算法的内层迭代需要遍历张量中的所有元素，所以整个算法的运行时间较长，难以满足某些对时间要求较高的场景。

如何减少数据的存储量和计算过程中内层求导所需要遍历的元素个数？

我们知道，当张量以 TT 形式表示时，如果该张量的 TT 秩比较小，那么该张量的 TT 形 式比原始张量所占用的空间小很多，结合张量的 TT 表示形式，论文提出一个基于张量链的高效 Tucker 分解方法。

一个三阶张量 $\underline{T}\in R^{I_1\times I_2\times I_3}$ 分解为核心张量 $\underline{C}\in R^{R_1\times R_2\times R_3}$ 和三个因子矩阵 $U_1\in R^{I_1\times R_1},U_2\in R^{I_2\times R_2},U_3\in R^{I_3\times R_3}$，通常情况下 Tucker 分解后的结果存在 $I_1\gg R_1,I_2\gg R_2,I_3\gg R_3$

因此，我们可以沿 $I_1,I_2\text{ 和 }{I}_3$ 对传统的 Tucker 分解结果做降维升阶操作，得到：
$$T=C{\times }_1^1{\underline{U}}_1\times {}_1^2{\underline{U}}_2\times {}_1^3{\underline{U}}_3$$

${\underline{U}}_1、{\underline{U}}_2、{\underline{U}}_3\text{ 分别为矩阵 }{U}_1\text{ 、 }{U}_2\text{ 、 }{U}_3\text{ 降维升阶后所对应的张量 }$

对降维升阶得到的张量 $U_1$ 、 $U_2$ 和 $U_3$ 分别做张量链分解操作:

$${\bar{U}}_1=U_1^{(1)}{\times }_1{U}_1^{(2)}{\times }_1{U}_1^{(3)}{\times }_1{U}_1^{(4)}$$

$${\bar{U}}_2=U_2^{(1)}{\times }_1{U}_2^{(2)}{\times }_1{U}_2^{(3)}{\times }_1{U}_2^{(4)}$$

$${\bar{U}}_3=U_3^{(1)}{\times }_1{U}_3^{(2)}{\times }_1{U}_3^{(3)}{\times }_1{U}_3^{(4)}$$

其中，${\text{ 公式中U }}_i^{(j)}\text{ 表示第 }i\text{ 个张量链 }{\bar{U}}_i\text{ 的第 }j\text{ 个核 }$

过程如下图所示：

通过以上两个步骤，我们将传统的 Tucker 分解形式转化为新的基于张量链的 Tucker 分解形式，大大减少了分解形式中的元素个数。

对于下面即将出现的内容希望各位小伙伴不要被吓到（反正当时我被吓到了），耐住性子看下去。

基于张量链的高效 Tucker 分解算法构造出如下损失函数：
$$\begin{array}{rl}L=& \frac{1}{2}{\Vert T-\underline{C}\times {}_1^1{\bar{U}}_1\times {}_1^2{\bar{U}}_2\times {}_1^3{\bar{U}}_3\Vert }_F^2\\ =& \frac{1}{2}\Vert T-\underline{C}\times {}_1^1\left(U_1^{(1)}\times {}_1{U}_1^{(2)}\times {}_1{U}_1^{(3)}\times {}_1{U}_1^{(4)}\right)\times {}_1^2\left(U_2^{(1)}\times {}_1{U}_2^{(2)}\times {}_1{U}_2^{(3)}\times {}_1{U}_2^{(4)}\right)\times {}_1^3\left(U_3^{(1)}\times {}_1{U}_3^{(2)}\times {}_1{U}_3^{(3)}\times {}_1{U}_3^{(4)}\right){\Vert }_F^2\end{array}$$

对第一个张量各个核进行求导，可以得到导数：

同理可以对第二、三个张量各个核求导，可以得到导数：

对C进行求导：

其中 $U_i^{(k-)}$ 表示第 $i$ 个张量链 $U_i$ 的前 k-1 个核做约减乘运算，$U_i^{(k+)}$ 表示第 $i$ 个张量链 $U_i$ 的第 k 个核之后做约减乘运算。

基于张量链的高效 Tucker 分解算法

输入：张量 $\underline{T}\in R^{I_1\times I_2\times \cdots \times I_N}$，误差阈值 $\epsilon$，最大迭代次数 ${\text{ Iter }}_{\text{max }}$
核心张量 $\underline{C}$的维度 $R_1,R_2,\cdots ,R_N$
张量链核的个数 $c_1,c_2,\cdots ,c_N$
s升阶后 $\underline{T}$的维度 $I_{11}\times I_{12}\times \cdots \times I_{1\left(q_1-1\right)}\times I_{21}\times I_{22}\times \cdots \times I_{2\left(c_2-1\right)}\times \cdots \times I_{N1}\times I_{N2}\times \cdots \times I_{N\left(c_N-1\right)}$
张量链核间秩 $r_{11},r_{12},\cdots ,r_{1\left(c_1-1\right)},r_{21},r_{22},\cdots ,r_{2\left(c_2-1\right)},\cdots ,r_{N1},r_{N2},\cdots ,r_{N\left(c_N-1\right)}$

输出：核心张量 $\underline{C}\in R^{R_1\times R_2\times \cdots \times R_N},\mathrm{N}$个低秩张量链 ${\bar{U}}_1,{\bar{U}}_2,\cdots {\bar{U}}_N$,其中每个张量链 ${\bar{U}}_k=U_k^{(1)}{\times }_1{U}_k^{(2)}{\times }_k\cdots {\times }_1{U}_k^{\left(c_k\right)}$

隐私保护的基于张量链的高效 Tucker 分解算法

同 PPHOBL 方案一样，隐私保护的基于张量链的高效 Tucker 分解算法的计算结果应该近似等于明文状态下基于张量链的高效 Tucker 分解算法的计 算结果。隐私保护的基于张量链的高效 Tucker 分解中的两个关键方法：
（1） 用户上传的加密张量与同态加密张量之间的相互转换；
（2）隐私保护的基于张量链的 高效 Tucker 分解。

其中用户上传的加密张量与同态加密张量之间的相互转换同上篇博客中所述方法一样，由云端与雾端节点协同配合完成，在此不再赘述。

隐私保护的基于张量链的高效 Tucker 分解算法

输入：张量 $\underline{T}\in R^{I_1\times I_2\times \cdots \times I_N}$，误差阈值 $\epsilon$，最大迭代次数 ${\text{ Iter }}_{\text{max }}$
核心张量 $\underline{C}$的维度 $R_1,R_2,\cdots ,R_N$
张量链核的个数 $c_1,c_2,\cdots ,c_N$
s升阶后 $\underline{T}$的维度 $I_{11}\times I_{12}\times \cdots \times I_{1\left(q_1-1\right)}\times I_{21}\times I_{22}\times \cdots \times I_{2\left(c_2-1\right)}\times \cdots \times I_{N1}\times I_{N2}\times \cdots \times I_{N\left(c_N-1\right)}$
张量链核间秩 $r_{11},r_{12},\cdots ,r_{1\left(c_1-1\right)},r_{21},r_{22},\cdots ,r_{2\left(c_2-1\right)},\cdots ,r_{N1},r_{N2},\cdots ,r_{N\left(c_N-1\right)}$

输出：核心张量 $\underline{[|C|]}\in R^{R_1\times R_2\times \cdots \times R_N},\mathrm{N}$个低秩张量链 ${\overline{[|U|]}}_1,{\overline{[|U|]}}_2,\cdots {\overline{[|U|]}}_N$，其中每个张量链 ${\overline{[|U|]}}_k=[|U|{]}_k^{(1)}{\times }_1[|U|{]}_k^{(2)}{\times }_k\cdots {\times }_1[|U|{]}_k^{\left(c_k\right)}$

“高效的隐私保护的张量分解方法研究”学习笔记到此主要内容已经介绍完毕，看看我这个小菜菜什么时候可以用代码复现吧！