CVPR2020 Learning in the Frequency Domain学习笔记

论文总结

为了解决CNN只能接受低分辨率的RGB图像，并且不改变现有的神经网络，论文提出了一种从频域上对图像进行reshape的方法，把原有图像压缩中的decoding环节里的IDCT过程去掉（计算量很大），而直接将反量化后的数据输入到神经网络中。就是说假设原有YUV图像尺寸为448x448x3，采用默认8x8为DCT的blocksize，统计相同位置的频率分量，那么现有的基于频域的feature map尺寸为56x56x192，选取其中的64个放入ResNet50第一个残差块之前，使得输入数据大小和之前一致，这样相当于是标准输入224x224的二倍从而提高识别精度。

为了解决CNN只能接受低分辨率的RGB图像，并且不改变现有的神经网络，论文提出了一种从频域上对图像进行reshape的方法，把原有图像压缩中的decoding环节里的IDCT过程去掉（计算量很大），而直接将反量化后的数据输入到神经网络中。就是说假设原有YUV图像尺寸为448x448x3，采用默认8x8为DCT的blocksize，统计相同位置的频率分量，那么现有的基于频域的feature map尺寸为56x56x192，选取其中的64个放入ResNet50第一个残差块之前，使得输入数据大小和之前一致，这样相当于是标准输入224x224的二倍从而提高识别精度。

手写笔记图片

存在的疑惑

原来图像压缩环节中是如何减少ＲＧＢ图像尺寸的，我感觉只是精度在量化环节由于四舍五入变低了，大小好像没有改变，这样怎么符合神经网络的输入大小呢？
部分解答：如果是对原始图像做尺寸变化，可以分块，他所做的不就是在相同的位置做频域处理啦。有些性能的提升是频域的操作。
还需要看源代码