神经网络中快速傅立叶变换(FFT)的梯度传递

最新推荐文章于 2024-02-21 13:58:16 发布
VIP文章 最新推荐文章于 2024-02-21 13:58:16 发布
阅读量5.9k 收藏 16
点赞数 2
分类专栏： 神经网络 深度学习 问题解决 原创 算法 Theano 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jolinxia/article/details/77853370
版权

最近需要在神经网络中构造复数酉矩阵做权重系数,使用了快速傅立叶变换和反变换.
但是FFT不是theano的现成操作模块(有人写过对应的代码,所以应该会很快加进去了),所以想自己去写梯度传递来彻底搞清楚这件事.
重新学一遍离散Fourier transform再加找梯度相关的文献学习,整整花了一周时间.从本科一毕业DFT就忘光了...
在此总结了下,不得不说推倒的结果出来以后,真是出乎意料的漂亮,所以实现起来更是异常简单.


傅立叶变换是线性变换.所以可以写成F(x)=Fx的形式, F是复矩阵,x是向量.
如果是实数,根据d/dx (Ay)=A * d/dx (y). 大白话说,矩阵F乘向量x这种运算的雅可比矩阵(雅可比矩阵是函数的一阶偏导数以一定方式排列成的矩阵)就是F矩阵本身.
雅可比矩阵乘以输出端梯度就可以由F和向量的乘法实现了.
ok,拓展到复数领域,用的是F的共轭转置,这里有个简单的例子大概理解一下

最低0.47元/天 解锁文章
j-o-l-i-n
关注
  • 2
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
FFTNN神经网络谐波检测方法
06-15
神经网络用于谐波检测，技术比较先进，哈哈
图像处理之傅里叶变换和小波变换
Linda的博客
07-07 1万+
最近在看物体识别论文摘要，好多论文中涉及到使用离散余弦傅里叶变换DFT（Discrete Fourier Transform）对图像进行处理，因此特地看了这部分的内容，傅里叶变换和小波变换。一、DFT的原理：以二维图像为例，归一化的二维离散傅里叶变换可以写成如下形式：其中f(x,y)表示图像的空间域的值，而F表示频域的值，傅里叶转换的结果为复数，这也表明，傅里叶变换其实是一副实数图像和虚数图像叠加...
从图傅里叶变换到图卷积神经网络
最新发布
zerokusinage的博客
02-21 943
从图傅里叶变换出发推到图卷积神经网络的传播公式
C++虚函数与纯虚函数用法与区别
潜行墨者
05-29 590
1.C++虚函数与纯虚函数用法与区别，虚函数和纯虚函数可以定义在同一个类(class)中，含有纯虚函数的类被称为抽象类(abstract class)，而只含有虚函数的类(class)不能被称为抽象类(abstract class)。 　　2.虚函数可以被直接使用，也可以被子类(sub class)重载以后以多态的形式调用，而纯虚函数必须在子类(sub class)中实现该函数才可以使用，因
神经网络与傅立叶变换到底有没有关系？
小白学视觉
06-13 162
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达机器学习和深度学习中的模型都是遵循数学函数的方式创建的。从数据分析到预测建模，一般情况下都会有数学原理的支撑，比如：欧几里得距离用于检测聚类中的聚类。傅里叶变换是一种众所周知的将函数从一个域转换到另一个域的数学方法，它也可以应用于深度学习。本文将讨论傅里叶变换，以及如何将其用于深度学习领域。什么是傅里叶变换？在数学中，变换技术用...
深度学习-神经网络：卷积的实现方法【直接法（精度没损失）、GEMM（矩阵乘法，精度没损失）、FFT（傅里叶变换，精度有损失）、Winograd（精度有损失）】
u013250861的博客
06-12 291
深度学习-神经网络：卷积的实现方法【直接法（精度没损失）、GEMM（矩阵乘法，精度没损失）、FFT（傅里叶变换，精度有损失）、Winograd（精度有损失）】
FFT:快速傅里叶变换与高精度乘法
ljhandlwt
07-24 1万+
最后修改:2016.09.15
深度学习之循环神经网络（3）梯度传播
weixin_43360025的博客
10-04 617
深度学习之循环神经网络（3）梯度传播  通过循环神经网络的更新表达式可以看出输出对张量Wxh\boldsymbol W_{xh}Wxh​、Whh\boldsymbol W_{hh}Whh​和偏置b\boldsymbol bb均是可导的，可以利用自动梯度算法来求解网络的梯度。此处我们仅简单地推导一下RNN的梯度传播公式，并观察其特点。  考虑梯度∂L∂Whh\frac{∂\mathcal L}{∂\boldsymbol W_{hh}}∂Whh​∂L​，其中L\mathcal LL为网络的误差，只考虑最后一个时
深入浅出解释FFT（六）——深入理解fft变换
热门推荐
坚持
04-02 4万+
（如需交流，请关注公众号：神马观止） FFT（FastFourier Transform，快速傅立叶变换）是离散傅立叶变换的快速算法，也是我们在数字信号处理技术中经常会提到的一个概念。在大学的理工科课程中，在完成高等数学的课程后，数字信号处理一般会作为通信电子类专业的专业基础课程进行学习，原因是其中涉及了大量的高等数学的理论推导，同时又是各类应用技术的理论基础。        关于傅立叶变换的
卷积神经网络FFT变换后数据的方差分布情况探究
qq_40268672的博客
07-14 348
import torch import torch.nn as nn import torch.nn.functional as F import torch.optim as optim from torchvision import datasets, transforms BATCH_SIZE=512 # 批次大小 EPOCHS=10 # 总共训练批次 DEVICE = torch.device("cuda" if torch.cuda.is_available() else "cpu") # 让t
二维 FFT
lahlah的博客
09-15 4049
U107257 【模板】二维 FFT 好像是因为fft是线性变换 所以二维的可以先DFT，再DFT，乘起来，再IDFT，再IDFT 就是先按照行DFT，再按照列DFT，乘起来，然后再IDFT回去 代码硕丑无比 code： #include<bits/stdc++.h> #define N 5005 #define mod 998244353 #define G 3 #define int long long using namespace std; const double pi = acos(
实验4 快速傅立叶变换(FFT).doc
07-06
DSP实验4 快速傅立叶变换(FFT)
快速傅立叶变换FFT频谱分析程序.pdf
01-11
快速傅立叶变换FFT频谱分析程序.pdf
快速傅立叶变换算法
11-13
正像这一章的概述中所提到的，我们使用的是surrus[111]提出的术语，他将所有的快速傅立叶变换（Fast Fourier Transform，FFT）算法简单地根据不同的（多维）输入输出序列的索引映射进行分类。这是建立在长度为N的DFT...
FFT.rar_快速傅立叶_快速傅立叶变换
09-20
工程计算中反复适用的计算方法，快速傅立叶变换原理
1024点FFT快速傅立叶变换.7z
01-19
1024点FFT快速傅立叶变换.7z
图卷积网络初探【GCN】
WeisongZhao
03-09 3820
最近GCN非常火，虽然个人暂时用不到GCN，但还是简单看了下理论，感觉不是特别复杂，但是似乎实现上较为有难度，尤其是高维的图表示，先转载一篇机器之心的文章学习一下，感觉GCN主要是处理复杂的关系网络，与常见的CV和NLP任务并不十分相同。 何为图卷积网络？ GCN 是一类非常强大的用于图数据的神经网络架构。事实上，它非常强大，即使是随机初始化的两层 GCN 也可以生成图网络中节...
FFT与DFT的关系及应用
Ontheway的博客
09-12 3万+
看了一篇讲理解离散傅立叶变换（二. 实数形式离散傅立叶变换）的文章（本博客“文章”中有转载，点击该链接可以直接进入作者的博客），可是一直不大好理解。所以想用matlab验证一下，增强理解，顺便把验证的东西分享一下：     首先，FFT（快速傅里叶变换）是一种实现DFT（离散傅里叶变换）的快速算法，是利用复数形式的离散傅里叶变换来计算实数形式的离散傅里叶变换）。matlab中的fft函数是实
神经网络模型压缩与加速
AlgoComp
03-08 5103
介绍神经网络（主要是CNN）模型压缩与加速的常见方法 目标：模型运行速度尽可能快，大小尽可能小，准确率尽可能保持不变 模型压缩 改变网络结构 使用特定结构 如 ShuffleNet, MobileNet, Xception, SqueezeNet MobileNet 把普通卷积操作分成两部分 Depthwise Convolution 计算量 DK⋅DK⋅M⋅D...
快速傅立叶变换(fft)算法设计
05-26
快速傅立叶变换(FFT)算法是一种高效的计算傅立叶变换的算法，它可以在O(n log n)的时间复杂度下完成n点离散傅立叶变换(DFT)的计算。下面是FFT算法的设计步骤： 1. 将输入序列分为偶数项和奇数项，分别进行DFT计算得到两个序列，这个过程可以递归地进行。 2. 将得到的两个序列合并起来，得到最终的结果。 具体实现时，可以使用迭代式的算法，也可以使用递归式的算法。下面是递归式的FFT算法的伪代码： ``` FFT(A, n): if n == 1: return A else: A_even = [A[2*i] for i in range(n//2)] A_odd = [A[2*i+1] for i in range(n//2)] Y_even = FFT(A_even, n//2) Y_odd = FFT(A_odd, n//2) Y = [0] * n for k in range(n): t = complex(0, -2 * pi * k / n) Y[k] = Y_even[k % (n//2)] + t * Y_odd[k % (n//2)] return Y ``` 其中，A表示输入序列，n表示序列的长度，Y表示输出序列。这个算法的时间复杂度为O(n log n)。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值