高效卷积算法

标签: 卷积加速 卷积乘法 可分离卷积
22人阅读 评论(0) 收藏 举报
分类:

总结下卷积加速的三种实现方法:

1.卷积等效于使用傅里叶变换将输入与核都转换到复频域,做一个点乘运算,再用逆变换变回到实域,这的确比离散的卷积更快。

2.当卷积核是可以分离的可以拆成一列乘一行的情况,将列与输入进行卷积后再把结果与行进行卷积,这种情况做卷积是最快的但是它只是针对特定的卷积核。这里提供大家一个链接里面专门讲解了和对比了这种方法还是在GPU的情况下点击打开链接,我也用pycuda体验过效果是不错就是不很实用,对卷积核限制太死了。如果对于任意的卷积核使用SVD分解成一列乘一行,保留矩阵的主成分,再用上述方法进行卷积,想法是不错的,但是矩阵过大保留下来的主成分代表不了矩阵的基本特性,我尝试过这个想法也不行。

3.由于矩阵卷积的运算可转换成矩阵乘法进行,具体的原理可以看看这一个帖子点击打开链接,MATLAB的程序点击打开链接,Python的程序点击打开链接,其实这样做只是改变了运算的方式,没有降低运算量。通过这么一转化非常适应使用GPU编程,值得一提的就是直接用离散卷积公式进行GPU加速效果是不大的,我对比过卷积核小的时候还可以,卷积核一大就不行了,不如上述第一种方法好(在CPU下),具体的做法可以看我以前的帖子点击打开链接,我建议想尝试的朋友放弃这种方法。用矩阵相乘的方法去进行GPU加速是肯定可以的,虽然我没有尝试过但是caffe下卷积乘法是这么做的,如果以后有空还是自己会做下。

这个帖子就是总结下前面的学习经验,有看法的朋友欢迎评论。

谢谢!

查看评论

一种快速卷积实现方法

本文基于论文Fast Algorithms for Convolutional Neural Networks,并且整理了相关知识点。 我们首先了解一下傅里叶变换: 对于连续型傅里叶变换的频域核时域转...
  • B1009
  • B1009
  • 2017-12-28 15:31:45
  • 485

快速卷积

2015.08.03 快速卷积 1.5版:2004年07月21日下午12点格林尼治时间 Douglas L. Jones 这项工作是由连结项目(The Connexions Project)提供,并由...
  • misskissC
  • misskissC
  • 2015-08-04 13:18:02
  • 4753

矩阵卷积的快速算法

悲剧的面试上周二去面试一家公司,好几个问题上都卡住了。原先刷的都是算法、数据结构上的问题。简历上写的课程上的知识几乎全忘了(本身也没兴趣),结果面试官按着简历上的课程问,悲剧了。题目一个M×N的矩阵A...
  • wujianhenhao
  • wujianhenhao
  • 2015-05-16 13:41:33
  • 2654

【算法+图像处理】2D卷积与快速卷积算法C语言实现

卷积算法在图像处理中有着广泛的应用,通常使用的去噪算法、边缘增强算法等的实现都使用到了2D卷积算法。这里介绍一下2D卷积算法和快速卷积算法的C语言实现。...
  • guduruyu
  • guduruyu
  • 2017-10-29 14:52:42
  • 1813

MATLAB实现快速卷积算法函数

  • 2009年05月27日 21:51
  • 711B
  • 下载

CUDA并行算法系列之FFT快速卷积

CUDA并行算法系列之FFT快速卷积 卷积定义 在维基百科上,卷积定义为: 离散卷积定义为: [ 0, 1, 2, 3]和[0, 1, 2]的卷积例子如下图所示: Python实...
  • yu132563
  • yu132563
  • 2016-09-25 08:39:54
  • 404

对比<em>快速卷积</em>和一般卷积的效率

编写程序,输入两个正弦序列(点数为128、256、512),分别用一般卷积和<em>快速卷积</em>进行计算,列表比较二者的用时。要求输入两个正弦序列——x(n)1024点,h(n)128点,求...
  • 2018年04月14日 00:00

高效的二维卷积实现

  • cdknight_happy
  • cdknight_happy
  • 2017-12-16 13:10:32
  • 109

快速傅里叶变换和卷积算法

  • 2010年09月18日 09:16
  • 2MB
  • 下载

高效卷积算法

总结下卷积加速的三种实现方法:1.卷积等效于使用傅里叶变换将输入与核都转换到复频域,做一个点乘运算,再用逆变换变回到实域,这的确比离散的卷积更快。2.当卷积核是可以分离的可以拆成一列乘一行的情况,将列...
  • fupotui7870
  • fupotui7870
  • 2018-04-15 11:13:50
  • 22
    个人资料
    持之以恒
    等级:
    访问量: 2080
    积分: 122
    排名: 120万+
    文章分类
    文章存档
    最新评论