图像融合初步认识--homesite of oliver rockinger主页内容

先放网址：homesite of oliver rockinger

内容：像素级图像融合以及matlab图像融合工具箱下载

1.图像融合

介绍了像素级图像融合，概述图像融合目前常用的方法，举例说明图像融合技术的应用场景，参考文献，以及一些链接（这一部分还没有）

（1）介绍

图像融合：多传感器成像结果的融合（即多个输入图像）

图像融合四个级别（按抽象级别排序）：信号级，像素级，特征级，符号级

图像融合几个基本要求：

1.保存所有输入图像有关信息（完整性）

2.不应引入多余伪像（准确性）

3.旋转平移不变性，即融合结果不应取决于输入图像的对象的位置或方向（稳定性）

对输入图像序列的要求：

1.时间稳定性：融合图像序列应该是时间稳定的，即融合序列中的灰度级变化只能由输入序列中的灰度级变化引起，而不能由融合方案本身引入；

2.时间一致性：在输入序列中发生的灰度级变化必须存在于融合序列中，而没有任何延迟或对比度变化。

（2）融合方法

1.linear superposition线性叠加

  最直接的方法--加权叠加

  可以通过所有输入权重的主成分分析（PCA）确定有关信息内容和冗余消除的最佳加权系数。通过执行输入强度的协方差矩阵的PCA，可以从对应于最大特征值的特征向量获得每个输入帧的权重。相似的过程是预先选择的色彩空间（例如R-G-B或H-S-V）中所有输入的线性组合，导致融合图像的颜色表示错误。

2.nonlinear methods非线性方法

   图像融合的另一个简单方法就是通过简单的非线性操作（最大、最小操作）建立融合图像。如果在所有输入图像中都关注亮对象，那么一个不错的选择是通过最大算子的逐像素应用来计算融合图像。

  扩展1：引入形态运算符（例如打开或关闭）。一种应用是通过定义两个图像中都存在的高度可靠的“核心”特征以及仅在一个源中存在的一组“潜在”特征的定义来使用条件形态学算子，其中实际的融合过程是通过应用条件腐蚀来执行的和膨胀运算符。

  扩展2：这种方法的进一步扩展是图像代数，它是图像形态的高级代数扩展，旨在描述所有图像处理操作。图像代数中定义的基本类型是值集，坐标集，可以集成不同的分辨率和镶嵌，图像和模板。对于每种基本类型，都定义了二进制和一元运算，它们从基本设置运算到图像和模板运算的更复杂运算。图像代数已以通用方式用于组合多传感器图像。

3.optimization approaches最优化方法

贝叶斯最优化问题

  使用多传感器图像数据和融合结果先验模型，目标是找到最大化后验概率的融合图像。由于通常无法解决此问题，因此引入了一些简化方法：将所有输入图像建模为马尔可夫随机场，以定义描述融合目标的能量函数。

（4-7后面补上）

4.artificial neural networks人工神经网络

5.image pyramids图像金字塔

6.wavelet transform小波变换

7.generic multiresolution fusion scheme多分辨率融合

（3）举例

1.navigation aid导航辅助

  为了使直升机飞行员能够在恶劣的能见度条件下（例如雾天或大雨）航行，直升机配备了多个成像传感器，飞行员可以在头盔显示器中查看它们。一个典型的传感器套件包括一个低光电视（LLTV）传感器和一个热成像前视红外（FLIR）传感器。
在当前配置中，飞行员可以选择两个传感器中的一个在其显示屏中观看。可能的改进是将两个成像源合并为一个融合图像，其中包含两个成像设备的相关图像信息。

2.merging out-of-focus images合并散焦图像

   由于光学透镜的聚焦深度有限（尤其是长焦距的聚焦透镜），通常无法获得包含所有“聚焦”相关物体的图像。克服此问题的一种可能性是拍摄几张具有不同焦点的图片，然后将它们组合成一个帧，最后包含所有输入图像的聚焦区域。

3.medical imaging医学影像

  随着医学诊断中新的成像方法的发展，需要对所有可用图像数据集进行有意义的（和空间正确的）组合。
成像设备的示例包括计算机断层扫描（CT），磁共振成像（MRI）或较新的正电子发射断层扫描（PET）。

4.remote sensing遥感

  遥感技术是图像融合的典型应用：现代光谱扫描仪可收集多达数百个光谱带，这些光谱带可以单独可视化和处理，也可以融合成单个图像，具体取决于图像分析任务。
下图显示了多光谱扫描仪的两个波段的融合。

2.toolbox

下载地址：http://www.metapix.de/download.htm

linear methods线性方法

• linear superposition线性叠加
• pca weighted superposition PCA加权叠加

nonlinear methods非线性方法

• select minimum value 最小值方法
• select maximum value 最大值方法

multiresolution approaches多分辨率方法

• laplacian pyramid 拉普拉斯金字塔
• fsd pyramid 
• ratio pyramid
• contrast pyramid 差分金字塔
• gradient pyramid 梯度金字塔
• dwt using DBSS(2,2) wavelet
• sidwt using haar wavelet
• morphological pyramid