Winograd卷积原理

最新推荐文章于 2022-11-28 16:54:12 发布

hey-yahei

最新推荐文章于 2022-11-28 16:54:12 发布

阅读量3.7k

点赞数 5

文章标签： Winograd 卷积深度学习

本文链接：https://blog.csdn.net/qq_20759449/article/details/100021958

版权

Winograd算法通过减少FIR滤波器的计算量，为卷积操作提供加速。本文深入探讨了Winograd算法的原理，包括F(2,3)和F(2×2,3×3)的实现，以及与直接卷积的计算量对比。堆叠和嵌套两种实现方式在乘法次数和空间代价上的差异，展示了Winograd在深度学习卷积计算中的潜在优势和挑战。" 88026479,8374218,Apache服务在Mac与Windows上的启动指南,"['Apache', '服务器配置', 'Web开发', '操作系统', '网络服务']

摘要由CSDN通过智能技术生成

原文链接：Winograd卷积原理 | Hey~YaHei!

Winograd算法最早于1980年由Shmuel Winograd在《Arithmetic complexity of computations(1980)》中提出，主要用来减少FIR滤波器的计算量。
该算法类似FFT，将数据映射到另一个空间上，用加减运算代替部分乘法运算，在“加减运算速度远高于乘法运算”的前提下达到明显的加速效果（与FFT不同的是，Winograd将数据映射到一个实数空间而非复数空间）。
比如，
直接实现一个 $m$ 输出、 $r$ 参数的FIR滤波器 $F (m, r)$ ，一共需要 $\times r$ 次乘法运算；
但使用Winograd算法，忽略变换过程的话，仅仅需要 $m + r - 1$ 次乘法运算。

$F (2, 3)$

如果直接计算 $F (2, 3)$ ：
$F(2,3)=\left[\begin{array}{lll}{d_{0}} & {d_{1}} & {d_{2}} \\ {d_{1}} & {d_{2}} & {d_{3}}\end{array}\right]\left[\begin{array}{l}{g_{0}} \\ {g_{1}} \\ {g_{2}}\end{array}\right]=\left[\begin{array}{l}{d_0g_0+d_1g_1+d_2g_2} \\ {d_1g_0+d_2g_1+d_3g_2}\end{array}\right]$
其中，
$d_0, d_1, d_2$ 和 $d_1, d_2, d_3$ 为连续的两个输入序列；
$g_0, g_1, g_2$ 为FIR的三个参数；
这个过程一共需要6次乘法，和4次加法

而Winograd算法指出， $F (2, 3)$ 可以这样计算：
$F(2,3)=\left[\begin{array}{lll}{d_{0}} & {d_{1}} & {d_{2}} \\ {d_{1}} & {d_{2}} & {d_{3}}\end{array}\right]\left[\begin{array}{l}{g_{0}} \\ {g_{1}} \\ {g_{2}}\end{array}\right]=\left[\begin{array}{l}{m_{1}+m_{2}+m_{3}} \\ {m_{2}-m_{3}-m_{4}}\end{array}\right]$
其中，
$\begin{array}{ll}{m_{1}=\left(d_{0}-d_{2}\right) g_{0}} & {m_{2}=\left(d_{1}+d_{2}\right) \frac{g_{0}+g_{1}+g_{2}}{2}} \\ {m_{4}=\left(d_{1}-d_{3}\right) g_{2}} & {m_{3}=\left(d_{2}-d_{1}\right) \frac{g_{0}-g_{1}+g_{2}}{2}}\end{array}$

该用矩阵运算可以表示成：
$Y=A^{T}\left[(G g) \odot\left(B^{T} d\right)\right]$
其中， $\odot$ 表示点乘，而
$B^{T}=\left[\begin{array}{rrrr}{1} & {0} & {-1} & {0} \\ {0} & {1} & {1} & {0} \\ {0} & {-1} & {1} & {0} \\ {0} & {1} & {0} & {-1}\end{array}\right], G=\left[\begin{array}{rrr}{1} & {0} & {0} \\ {\frac{1}{2}} & {\frac{1}{2}} & {\frac{1}{2}} \\ {\frac{1}{2}} & {-\frac{1}{2}} & {\frac{1}{2}} \\ {0} & {0} & {1}\end{array}\right], A^{T}=\left[\begin{array}{rrrr}{1} & {1} & {1} & {0} \\ {0} & {1} & {-1} & {-1}\end{array}\right]$
$g=\left[\begin{array}{lll}{g_{0}} & {g_{1}} & {g_{2}}\end{array}\right]^{T}, d=\left[\begin{array}{llll}{d_{0}} & {d_{1}} & {d_{2}} & {d_{3}}\end{array}\right]^{T}$