深度模型使用低秩分解为何可以加速计算

何为秩

矩阵的秩反映了矩阵行列的相关性。经过初等变化后，矩阵有r个非零行，则其秩为r,如果矩阵的行列之间都是线性无关的，那么该矩阵就是满秩的矩阵。

何为低秩

如果X是一个m行n列的数值矩阵，rank(X)是X的秩，假如rank (X)远小于m和n，则我们称X是低秩矩阵。低秩矩阵每行或每列都可以用其他的行或列线性表出，可见它包含大量的冗余信息。利用这种冗余信息，可以对缺失数据进行恢复，也可以对数据进行特征提取。

何为低秩分解

目的：去除冗余，并且减少权值参数
方法：采用两个K1的卷积核替换掉一个KK的卷积核(decompose the K convolutions into two separable convolutions of size 1 × K and K × 1)
原理：权值向量主要分布在一些低秩子空间，用少数基来重构权值矩阵
用低秩的矩阵代替原先的矩阵，可以减少参数量，也就减少了计算量。
具体参照：https://www.cnblogs.com/missidiot/p/9869182.html