LAMA中的Fast Fourier Convolution (FFC)

Fast Fourier Convolution (FFC) 是一种最近提出的运算符，它允许在早期层中使用全局上下文。

概念解释

1. 全局上下文：

   • 在图像处理和深度学习中，全局上下文指的是图像中所有像素之间的关系和信息。使用全局上下文可以帮助模型更好地理解图像整体结构和特征。

2. 通道级快速傅里叶变换 (FFT):

   • 傅里叶变换是一种数学变换，用于将信号从时域转换到频域。快速傅里叶变换 (FFT) 是其快速算法。
   • 通道级 FFT 意味着在每个通道上单独应用傅里叶变换。

工作原理

1. FFC 的结构：

   • FFC 的核心思想是将通道分为两条平行的分支：
     • 本地分支： 使用传统的卷积运算。传统卷积在处理局部特征时非常有效。
     • 全局分支： 使用实际的 FFT 来考虑全局上下文。实际的 FFT 只应用于实值信号，确保输出也是实值信号。

2. 实际 FFT 与逆 FFT：

   • 实际 FFT： 只使用频谱的一半，因为对于实值信号，其频谱是对称的。这样可以减少计算量。
   • 逆实际 FFT： 确保将频域数据转换回实值时域数据。

具体步骤

FFC 的具体步骤如下：

1. 通道分离： 将输入通道分为两部分，一部分传递给本地分支，另一部分传递给全局分支。
2. 本地分支处理： 对于传递到本地分支的通道，应用常规卷积操作，捕获局部特征。
3. 全局分支处理： 对于传递到全局分支的通道，应用实际 FFT，捕获全局上下文信息。然后，应用逆实际 FFT，将频域信息转换回时域。
4. 输出合并： 将本地分支和全局分支的输出合并，得到最终输出。

优势

• 全局感受野： FFC 的感受野覆盖整个图像，有助于捕捉全局特征。
• 计算效率： 实际 FFT 只使用一半频谱，减少了计算量，同时保证了输出是实值。

通过这种方式，FFC 能够在保持计算效率的同时，融合局部和全局特征，提高模型的表达能力和性能。

时域和频域

1. 时域（Time Domain）：

   • 时域表示信号的原始形式，即随时间变化的信号。图像的时域表示是每个像素的亮度值。

2. 频域（Frequency Domain）：

   • 频域表示信号的频率成分，即信号在不同频率下的强度。通过傅里叶变换，可以将时域信号转换到频域，以便分析其频率特性。

傅里叶变换和逆傅里叶变换

1. 傅里叶变换（Fourier Transform）：

   • 傅里叶变换是一个数学工具，用于将时域信号转换到频域。转换后的频域信号可以显示信号的频率成分。
   • 快速傅里叶变换（FFT）是傅里叶变换的一种高效实现。

2. 逆傅里叶变换（Inverse Fourier Transform）：

   • 逆傅里叶变换用于将频域信号转换回时域。通过逆变换，我们可以从频域信息恢复出原始的时域信号。

FFC 中的实际 FFT 和逆实际 FFT

在 Fast Fourier Convolution (FFC) 中，全局分支使用实际的快速傅里叶变换（Real FFT）和逆实际傅里叶变换（Inverse Real FFT）进行处理：

1. 实际 FFT：

   • 对实值信号（如图像）应用实际 FFT，将其转换到频域。由于实值信号的频谱是对称的，实际 FFT 只使用频谱的一半，从而提高计算效率。

2. 逆实际 FFT：

   • 将频域的特征转换回时域，确保输出的信号仍然是实值的。逆实际 FFT 将在频域中捕获的全局上下文信息转换回时域，使得卷积层可以利用这些信息进行进一步处理。

频域信息转换回时域的理解

在 FFC 中，频域信息转换回时域的具体步骤如下：

1. 在频域捕获全局信息：

   • 通过实际 FFT，将输入信号从时域转换到频域。这样可以分析和处理图像的全局特征。

2. 处理频域信息：

   • 在频域中进行相应的操作，捕获全局上下文信息。

3. 逆实际 FFT 转换回时域：

   • 使用逆实际 FFT 将处理后的频域信息转换回时域。这一步确保处理后的信号与原始输入信号相同，是实值的，并且包含了全局上下文信息。

通过上述过程，FFC 能够有效地融合局部和全局特征，提高模型对图像的理解和处理能力。