图像的相位与振幅

前言：之前的一部分研究工作是提取视频中的噪声（时域上），其特征由相位（phase）与幅度（amplitude）来刻画。

相关：深入理解FT，DTFT，DFT 之间的关系、深入浅出的讲解傅里叶变换（真正的通俗易懂）

给出一张灰度图，经过傅里叶变换，可以把图片的每一个像素的像素值变成复数。由于每一个复数，都有模长和方向两个量组成，因此可以分离出幅度图和相位图。

图像的幅度图和相位图中给出了python的做法，这里给出Matlab版：

I=imread('test.bmp');%768*1024
imshow(I)

I_fft=fft(I);%对图像做傅里叶变换
I0=ifft(I_fft);%对图像做逆傅里叶变换
imshow(I0/255)

m1=abs(I_fft);%Magnitude 幅度图
p1=unwrap(angle(I_fft)); %Phase 相位图
imshow(m1/255)
imshow(p1/255)

I1=fft2(I);%二维快速傅里叶变换 等同于计算 fft(fft(X).').'
imshow(I1/255);
Ishift_fft=fftshift(I1);
imshow(Ishift_fft)
I1=ifft(Ishift_fft);%对图像做逆傅里叶变换
imshow(I1/255)

m2=abs(Ishift_fft);%Magnitude 幅度图
p2=unwrap(angle(Ishift_fft)); %Phase 相位图
imshow(m2/255)
imshow(p2/255)

这里用到了fftshift函数和fft2函数

 

“近十几年来，稀疏（sparsity）已经成为信号处理及其应用领域中处于第一位的概念之一。近来，研究人员又致力于过完备（overcomplete）信号表示的研究。这种表示不同于许多传统的表示。因为它能提供一个广阔范围的生成元素（atoms）。而冗余（redundant）信号表示的魅力正在于其能经济地（紧致）的表示一大类信号。对稀疏性的兴趣源自于新的抽样理论-压缩传感（compressed sensing）的发展，压缩传感是香农采样理论的一种替代，其利用信号本身是稀疏的这一先验，而香农理论是设计用于频率带宽有限的信号的。通过建立采样和稀疏的直接联系，压缩传感在大量的科学领域，如编码和信息论，信号和图像采集处理，医学成像，及地理和航天数据分析等都得到应用。压缩传感的另一贡献是许多传统的逆问题，如断层图像重建，可以看作压缩传感问题。这类病态（ill-posed）问题需要正则化。压缩传感对寻求系数性解的方法给出了强大的理论支持。

字典分两种，一种是隐性字典，implicit dictionary，这种主要是由它们的算法表现出来的，而不是矩阵结构，比如wavelet，curvelet，contourlet，等等。另一种是通过机器学习来从样本中获取字典，这种字典表现为一种显性矩阵，explicit matrix，而算法是用来适应矩阵的，比如PCA，GPCA，MOD，K-SVD等等，这种字典的好处在于比前一种灵活，表现也好，坏处就是耗费时间和运算资源，另外复杂的约束限制了字典的大小以及需要处理的信号的维度（所以论文提出的这个算法最后用3D图像去噪来表现优越性）。”

从而，对相位的特征用稀疏表示来刻画，涉及到：

计算机视觉-字典学习，图像分类的字典学习方法概述，从稀疏表示到低秩表示（一）（二）（三）（四）（五）

K-SVD简述——字典学习，稀疏编码

还涉及一些超分辨率重建：

基于深度学习的图像超分辨率重建技术的研究

基于深度学习的图像超分辨率重建（我们先进院汤晓鸥组的董超）

百度AI学习项目-SRCNN网络-超分辨率重建

 

接下来就需要考虑双目视点绘制虚拟视点的一些实现细节。

在从参考视点映射到虚拟视点的过程中会涉及到仿射变换与物体形状大小的畸变。

DIBR技术与合成全景图技术的区别。

 

因为可能匹配不上，所以考虑到了一些块匹配的想法：

“

理想状态下，双目相机拍出的两张照片left和right种，left图像中的某一个像素应当可以在right中同一行（opencv中的row）中找到该像素对应的像素，根据这两个像素的x坐标差，便可以得到图像的深度图。但是并非每一个像素都可以找到其对应像素，原因有：

（1）由于遮挡关系，left中的像素无法在right中找到

（2）由于某些处于非朗伯面（比如水面、镜面、玻璃）的点由于光照原因无法匹配

（3）密集重复纹理（树林、草地）下或纹理特别稀疏（墙面、天空）时，很难准确匹配

（4）纹理都是水平线条时（线条与极线平行），很难准确匹配

此处，鄙人给出最简单的双目匹配的实现方式，即采用块匹配的方式计算深度图。

”

真实场景的虚拟视点合成（View Synthsis）详解

基于块匹配的双目视差函数的实现

图像的视差匹配

立体匹配基本理论

立体匹配与视差计算

固定窗口的视差图计算双目立体视觉匹配算法之视差图disparity计算——SAD算法、SGBM算法

半全局块匹配算法 半全局匹配算法总结