快速矩阵乘法的研究——下

快速矩阵乘法的研究

本文我们只看一个算法，就是 Coppersmith 和 Winograd 提出的$O(2.37)$的矩阵乘法。请确保前两篇内容已经掌握理解。
https://blog.csdn.net/jxt1234and2010/article/details/88588208
https://blog.csdn.net/jxt1234and2010/article/details/88599629

Salem-Spencer 集

Salem-Spencer 集是一个整数集 $B$，且对任意的 $a,b,c\in B$ ，有如下性质：
$$a+b=2c\to a=b=c$$
简言之，就是这个集合不存在“中间数”，任意两数的平均值都不在集合中。

对于 Salem-Spencer 集合，有Salem-Spencer定理：

对任意的$ϵ$ > 0，存在一个下界 $M_{ϵ}\approx 2^{\frac{c}{{ϵ}^2}}$；对任意的$M>M_{ϵ}$，存在一个Salem-Spencer 集 B，B中有$M^{\prime }$($M^{\prime }>M^{1-ϵ}$)个互不相同的元素，且
$$0<b_1<b_2<b_3<...<b_{M^{\prime }}<\frac{M}{2}$$

该定理可以作如下应用：

不相交集合划分引理

假设我们有一个大小为 $3N$的集合$S$，并且希望把它分成3个互不相交且大小都为$N$的集合$A,B,C$:
$$|A|=|B|=|C|=N,A\cap B=A\cap C=B\cap C=\varnothing$$
所有这样的分割方法成为一个集合 $S_{part}$。
给定一个 $ϵ$ ，我们可以找到一个下界$N_0$，对任意的$N>N_0$ 存在一个子集 △ = { { A 1 , B 1 , C 1 } , . . . , { A ∣ △ ∣ , B ∣ △ ∣ , C ∣ △ ∣ } } ⊂ S p a r t \triangle = \{\{A_1, B_1, C_1\}, ..., \{A_{|\triangle|}, B_{|\triangle|}, C_{|\triangle|}\}\} \subset S_{part} △={{A1​,B1​,C1​},...,{A∣△∣​,B∣△∣​,C∣△∣​}}⊂Spart​，对于其中的元素，满足如下性质：
1、对集合内任意两个不同元素： { A , B , C } \{A, B, C\} {A,B,C} 与 { A ′ , B ′ , C ′ } \{A', B', C'\} {A′,B′,C′}，$A,A^{\prime }$, $B,B^{\prime }$, $C,C^{\prime }$互不相同
2、对集合内某一元素 { A i , B i , C i } \{A_i, B_i, C_i\} {Ai​,Bi​,Ci​}，不存在来自其他元素的$B_j$, $C_k$，使$A_i\cup B_j\cup C_k=S$
且 $|△|\ge (\frac{27}{4}{)}^{N(1-ϵ)}$

该引理需要结合一些均匀分布的性质去证明，是后面CW算法的核心。虽然很重要，为了尽快奔入主题，这里先不证了，后续再补充。

C-W的"简单"算法

构造公式

我们从如下构造公式出发：
$$\begin{gathered} \sum _{i=1}^q{\lambda }^{-2}(x_0^{[0]}+\lambda x_i^{[1]})(y_0^{[0]}+\lambda y_i^{[1]})(z_0^{[0]}+\lambda z_i^{[1]}) \\ -{\lambda }^{-3}(x_0^{[0]}+{\lambda }^2\sum x_i^{[1]})(y_0^{[0]}+{\lambda }^2\sum y_i^{[1]})(z_0^{[0]}+{\lambda }^2\sum z_i^{[1]}) \\ +({\lambda }^{-3}-q{\lambda }^{-2})(x_0^{[0]})(y_0^{[0]})(z_0^{[0]}) \\ =\sum _{i=1}^q(x_0^{[0]}{y}_i^{[1]}{z}_i^{[1]})+(x_i^{[1]}{y}_0^{[0]}{z}_i^{[1]})+(x_i^{[1]}{y}_i^{[1]}{z}_0^{[0]})+O(\lambda ) \end{gathered}$$

这个构造公式用$q+2$个乘数近似计算了$3q$个乘数，类似于Strassen构造的式子，上标表示分组，比如$x_0$为$[0]$组， { x 1 , . . . , x q } \{x_1, ..., x_q\} {x1​,...,xq​}为$[1]$组。等式右边既不是矩阵乘，也不是按分组意义上的“矩阵乘”，不过每个块是一个矩阵乘法，比如${\sum }_{i=1}^q(x_0^{[0]}{y}_i^{[1]}{z}_i^{[1]})$是一个$(1,1,q)$的矩阵乘法。

接下来，我们需要对其作$3^N$的张量幂，并利用Salem-Spencer相关定理把一些项设成0，保留下一系列独立的矩阵乘，这样便可以应用上一篇所述的渐近和定理，得到更优的矩阵乘算法。

张量幂与矩阵乘法阶数

设定一个$ϵ>0$，按Salem-Spencer定理，有一个下界$M_{ϵ}$，取 $N>M_{ϵ}$，对构造式作$3^N$的张量幂。

在这个复杂的张量幂中，对于$x_i^{[v]}$这个元素，其下标$i$变成了一个3N长度的向量 { a , b , c , . . . } \{a, b, c,...\} {a,b,c,...}，里面元素均属于 { 0 , . . . , q } \{0, ..., q\} {0,...,q}；而上标$v$，变成了由 { 0 , 1 } \{0, 1\} {0,1}元素组成的一个$3N$长度的向量 I ∈ { 0 , 1 } 3 N I \in \{0, 1\}^{3N} I∈{0,1}3N。类似地，$y,z$相关的上标组成两个$3N$长度的向量$J,K$

我们希望在这个张量幂中，仅留下一系列互相独立的$(q^N,q^N,q^N)$的矩阵乘法表示，这要求我们按如下条件选择不为零的$x,y,z$：
$x,y,z$的上标向量$I$各有$N$个$0$，并且$I_i+J_i+K_i=2$。

这样我们可以得到$\left(\genfrac{}{}{0ex}{}{3N}{N}\right)\left(\genfrac{}{}{0ex}{}{2N}{N}\right)$项，下面我们需要在这里面进一步挑选出一个子集$△$：
1、对于$△$中的两个元素， { I , J , K } \{I, J, K\} {I,J,K} 与 { I ′ , J ′ , K ′ } \{I', J', K'\} {I′,J′,K′}，$I,I^{\prime }$, $J,J^{\prime }$, $K,K^{\prime }$互不相同 —— 这样可以保证我们得到的是相互独立的矩阵乘法。
2、若$I,J,K,I^{\prime },J^{\prime },K^{\prime },I^{\prime \prime },J^{\prime \prime },K^{\prime \prime }$都是$△$中的元素且$I,J^{\prime },K^{\prime \prime }$也是$△$的元素，则$I=I^{\prime }=I^{\prime \prime },J=J^{\prime }=J^{\prime \prime },K=K^{\prime }=K^{\prime \prime }$

应用前面的定理，这样的元素在$N$足够大时有$(\frac{27}{4}{)}^{N(1-ϵ)}$个，这样，我们可以用不大于$(q+2{)}^{3N}$个乘法去近似计算$(\frac{27}{4}{)}^{N(1-ϵ)}$个 { q N , q N , q N } \{q^N, q^N, q^N\} {qN,qN,qN}矩阵乘法，因此由渐近和定理，我们有：
$$(q+2{)}^{3N}\ge (\frac{27}{4}{)}^{N(1-ϵ)}{q}^{3N\tau }$$
$3\tau$为矩阵乘法的秩，当$ϵ$足够小，$N$足够大时，等效于：
$$(q+2{)}^{3N}\ge (\frac{27}{4}{)}^N{q}^{3N\tau }$$
开$N$次方：
$$(q+2{)}^3\ge (\frac{27}{4})q^{3\tau }$$
当 $q=8$时可得：$3\tau \le 2.40364$，相比Strassen构造往前进了一步。

C-W的“复杂”算法

新构造

$$\begin{gathered} \sum _{i=1}^q{\lambda }^{-2}(x_0^{[0]}+\lambda x_i^{[1]})(y_0^{[0]}+\lambda y_i^{[1]})(z_0^{[0]}+\lambda z_i^{[1]}) \\ -{\lambda }^{-3}(x_0^{[0]}+{\lambda }^2\sum x_i^{[1]})(y_0^{[0]}+{\lambda }^2\sum y_i^{[1]})(z_0^{[0]}+{\lambda }^2\sum z_i^{[1]}) \\ +({\lambda }^{-3}-q{\lambda }^{-2})(x_0^{[0]}+{\lambda }^3{x}_{q+1}^{[2]})(y_0^{[0]}+{\lambda }^3{y}_{q+1}^{[2]})(z_0^{[0]}+{\lambda }^3{z}_{q+1}^{[2]}) \\ =\sum _{i=1}^q(x_0^{[0]}{y}_i^{[1]}{z}_i^{[1]}+x_i^{[1]}{y}_0^{[0]}{z}_i^{[1]}+x_i^{[1]}{y}_i^{[1]}{z}_0^{[0]}) \\ +x_0^{[0]}{y}_0^{[0]}{z}_{q+1}^{[2]}+x_0^{[0]}{y}_{q+1}^{[2]}{z}_0^{[0]}+x_{q+1}^{[2]}{y}_0^{[0]}{z}_0^{[0]}+O(\lambda ) \end{gathered}$$

该构造用 $q+2$个乘数近似计算了$3q+3$个乘数，较上一个构造式多了3个。

对此构造执行$3N$的张量幂，令$L=[\beta N]$（$\beta \in [0,1]$后续会确定）。只保留上标如下的块：$N+L$个0，$2N+2L$个1，$L$个2。

$$\left(\genfrac{}{}{0ex}{}{3N}{L,N+L,2N-2L}\right)\left(\genfrac{}{}{0ex}{}{N+L}{L,L,N-L}\right)\left(\genfrac{}{}{0ex}{}{2N-2L}{N-L,N-L}\right)$$

这些块都是$(q^{N-L},q^{N-L},q^{N-L})$的矩阵乘，但并不是互相独立的，然后按类似"不相交集合划分引理"的证明方法，可以证明，取出互相独立的个数至少有$(\frac{27}{{\beta }^{\beta }(1+\beta {)}^{1+\beta }(2-2\beta {)}^{2-2\beta }}{)}^N{q}^{3N(1-\beta )\tau }$个。

当$q=6,\beta =0.048$时，可证$3\tau \le 2.38719$

进一步优化

（待续）