Adaptive+Region-Segmentation+Multi-Focus+Image+Fusion+Based+on+Differential+Evolution

最新推荐文章于 2024-06-18 00:22:55 发布
最新推荐文章于 2024-06-18 00:22:55 发布
阅读量261 收藏
点赞数
文章标签： 人工智能 计算机视觉 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37373311/article/details/132118348
版权

基于差分进化的自适应区域分割多焦图像融合

利用拉普拉斯金字塔变换将预先配准的源图像分解为近似系数和细节系数，提出了一种基于自适应区域分割的多焦点图像融合方法。为了避免固定大小块的缺点，设计了自适应差分进化方案来计算最优大小块。首先使用近似系数，通过自适应差分进化算法迭代计算最优大小的块。然后，在计算区域和修正拉普拉斯能量之后，通过比较两个对应块的区域和修正的拉普拉斯能量来完成初始决策图。其次，通过引导图像滤波器对初始决策图进行优化，以获得最终决策图，从而避免边界的块效应。对于决策图，使用加权平均规则对近似系数进行融合，而使用区域梯度能量方法对细节系数进行融合。最后，逆拉普拉斯金字塔变换用于重构融合的近似系数和融合的细节系数，并获得所有物体都清晰的融合图像。实验结果证明，该方法产生的融合图像具有较少的细节或附加噪声，具有较高的计算效率。该方法在主观视觉效果和客观定量评价指标上均优于其他先进方法.

1.Introduction

由于受到光学镜头限制，拍照物体只能部分在焦点上，所以数码相机很难呈现全部清晰的图像

目前多焦点图像融合的方法主要基于空间域（Spatial domain）和变换域（Transform domain），空间域算法就是在像素点或者像素区域上进行线性融合，简单直观，适用于实时处理

当下热点研究之一是区域分割技术，普遍的区域分割方法是基于固定窗口的，利用一定的算法将图像分割为固定尺寸的区块，但是该方法没考虑到区域内容的相关性，所以最近自适应区域分割方法被提出，自适应区域是通过计算物体边界并且使用智能算法得到最优块的大小。这种方法实现了图像的二次配准，并且它的性能表现也比固定块的要更好。

多焦点图像变换域算法是将图像进行多尺度分解得到一系列分解系数，并且根据一定融合规则对不同尺度下的系数进行融合，最后逆变换重回构融合系数。一个经典的方法就是金字塔融合算法，通过下采样将图像分解为一系列子图像，分别得到一个近似系数和一系列能够突出重要特征和细节信息的细节系数，最后通过反金字塔操作得到融合图像。现在出现了不同的金字塔算法，比如拉普拉斯金字塔，对比度金字塔，低通率金字塔和梯度金字塔等，所有的这些都有许多不足，首先金字塔分解是冗余分解，金字塔不同层级之间的数据是相关的，也就意味着数据量在分解后增加了大概1/3，第二点是除了梯度金字塔外，分解都是无方向的，因此提出结构信息比较困难；第三点，随着分解等级逐渐增加，分辨率越来越低，图像边界也变得更加模糊。

针对以上问题，提出了简单有效方法，不降低融合质量，并且考虑了融合因素和计算效率，这个方法结合了空间域的自适应区域分割和变换域的多尺度分析，具有一下特点：

  • 基于拉普拉斯金字塔融合，我们将所有种类原图像进行分解获得近似系数和细节系数，并且在空间域上使用自适应区域分割对因子进行融合，不同的系数采用不容的融合策略；

  • 近似系数的融合采用自适应空间域方法

  • 通过优化近似系数的融合权重来减少边界上的区块效应

  • 在近似系数的权重下，对细节系数通过区域梯度能量方法进行融合

重点讨论自适应区域分割方法，并且提出了一个新的融合方法是基于自适应差分进化算法。

2.Adaptive Differential Evolution Algorithm

差分进化算法是通过启发式搜索策略从全局数据角度寻找最优算法，尤其是面对位置数据，类似于遗传算法但是要优于遗传算法，具有方便、稳定、和优秀的鲁棒性

2.1 Differential Evolution Algorithm

差分进化算法大多数通过基于差分向量生成的不同个体来进行杂交获得测试的个体，然后最好的个体作为下一代，差分进化算法大多数需要经历初始化、编译、交叉和选择的过程。

  • Population initialization 种群初始化

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-YaPFColp-1691209368251)(https://flowus.cn/preview/34da5023-586a-42f0-b26c-820d6d5a7662)]

  • Mutation

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-2x8nSsjS-1691209368252)(https://flowus.cn/preview/5a5dac02-92b4-47d5-9739-67737fd8c9e8)]

  • Crossover

为了提高种群多样性，交叉操作将个体变异前后的各个分量按一定的规则混合生成新的个体向量。如图所示

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ltO12fnZ-1691209368252)(https://flowus.cn/preview/d2442db6-741c-47ce-88da-2768f481a92d)]

  • Selection

通过比较测试个体和原始个体的目标函数值，根据贪心算法获得下一代个体的目标函数值。换句话说，如果个体的原始值等于或大于目标函数值，那么下一代就是一个测试个体。否则，它保持上一代不变。如式(4)所示，取fx的最小值作为最后的结果。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-OeUbFxCR-1691209368253)(https://flowus.cn/preview/b91f70c8-e83c-4644-a261-3d52a0af30ee)]

！！！由于参数值(F、CR和NP)对性能的优化有很大的影响，因此需要进行大量的实验和测试才能得到最优值。

2.2 Adaptive differential evolution algorithm

自适应控制（the self-adaptation control）根据实际问题进行设置，并不需要人工干预的一种进化控制策略，而在差分进化中的自适应控制则主要是缩放因子F（zooming factor）和交叉银子CR（crosser factor），其影响算法的效率和鲁棒性，产生不同结果。

！！！Brest和同事提出动态调整F和CR的JDE算法

JDE算法把F和CR分配到每个个体，并且根据阈值进行动态调整。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4we78Y44-1691209368253)(https://flowus.cn/preview/28b022f5-d6ad-456e-9260-11f652ccbcdd)]

在JDE算法中，F和CR随着种群的进化而自动调整，提高了全局搜索能力和优化性能。因此，将JDE应用于块大小的优化。

3.Fusion Algorithm

3.1 . Approximation coefficient fusion
- 3.1.1 Adaptive regional segmentation

本文提出的自适应区域分割算法是一种基于差分进化的启发式区域分割算法。

自适应区域分割的重要因素之一就是图像切块的大小（m, n），其中m，n是一定范围内的正整数，所以问题可以转化为有限二次空间内的优化问题。具体实现的时候需要对DE算法进行修改和加限，一方面是进行舍入运算保证个体的每个部分都是正整数，另一面需要进行边缘检测，对图像的块进行限制，避过小造成块内信息不可靠，过大造成边界容易出现块效应，而且再增加原图像的模糊程度，对融合结果不利

？？？JDE算法的参数设置是基于统计数据的。相关参数主要包括种群数、交叉因子、缩放因子和最大进化代数。根据经验值，大量实验证明缩放因子的取值范围为[0.5,1]，其初始值为0.5。交叉算子的取值范围为[0.8,1]，其初始值为0.2。种群中个体总数为10个，种群进化为20个。

- 3.1.2 Initial decision diagram

首先创建一个零矩阵来记录清晰区域，区域SML（sum-modified Laplace）用来表示活跃等级的测量，SML定义如下公示，r是算法中计算窗口的半径；最后初始决策图通过比较两幅原始图像的对应块的SML值来获得，如下所示定义Dp

![image.png](https://flowus.cn/preview/13822790-2328-477d-a6d0-3e5814b3a23d)

初始决策图是一个二值图，如Fig1（c）中所示，其中有很多小孔，采用一致性验证来消除，使用基于窗口的mostly filter，中心是Ix图像获取，周围大多数都是Iy图像中获取，则将中心像素改为Iy，优化后的二值图如Fig1（d）中所示。

![image.png](https://flowus.cn/preview/dab791f6-0cc4-49ef-851e-ca4c849537e1)

- 3.1.3 . Decision diagram optimization

为了进一步优化决策图，引入guided image filtering ，将 guided imageA和output imageDf建立局部线性模型，如下图，将初始决策图优化后的上面的结果作为输入

![image.png](https://flowus.cn/preview/87ed5a18-c13d-4cbe-9cf4-366759383134)

wk是以k为中心，r为半径的滑动窗口，ak和bk是wk中常量系数，由（11）公示计算Df和Dm的最小二乘误差获得

![image.png](https://flowus.cn/preview/ce7455dd-64dd-4a3d-a4e7-dcfe17a4e028)

![image.png](https://flowus.cn/preview/d7b27fdc-15c2-4988-8859-81fc9c7281a5)

![image.png](https://flowus.cn/preview/b195dfb4-838c-4f57-9057-8ada7331e4ec)

半径通常定位为8，但是随着拉普拉斯分解层级不断增加，图像越来越小，小于8就终止，可能分解层数较少，系数图像就非常大，很难处理，因此半径r是使用自适应算法进行确定的。

- 3.1.4 Fusion approximate coefficients

![image.png](https://flowus.cn/preview/b82a635c-0ab3-46e7-9051-866ce9fd9d8f)
3.2 Detail coefficient fusion

detail coefficient 使用局部能量方法进行计算，公式如下，设置一个M*N的窗口，中心坐标为（i，j）

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-9zz9PYtD-1691209368253)(https://flowus.cn/preview/1dd3423c-85b6-4f44-aad7-069ceb171b96)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Nb74OHDM-1691209368253)(https://flowus.cn/preview/8e66f7cc-4b07-464c-af52-13aefd39d444)]

近似系数融合中使用优化后的决策图获得图像清晰架构，细节系数分布也尊重一样的优化后的决策图，使用这个融合提高融合精度，公式如下

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-nAJNXFvC-1691209368254)(https://flowus.cn/preview/cfc6d58a-8003-41bb-894e-71ac094ad9f3)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-R6tspruR-1691209368254)(https://flowus.cn/preview/9e5f46b1-4add-4f14-ac37-595983562c30)]

3.3 . Fusion processing

原理图看Fig3

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-kJvyFwYS-1691209368254)(https://flowus.cn/preview/34e5285b-6850-44f0-b731-3cd49e1e0165)]

  • 利用拉普拉斯金字塔将每个原始图像分解为一个低分辨率的近似系数图像，一个是高分辨率的细节系数图像

  • 由于近似系数图像和原图像拥有一样的清晰架构，并且数据量还小，所以将近似系数图像利用自适应算法进行多区域分割，以便提高计算效率，再计算每个部分的SML来生成初始的决策图

  • 利用guided image fliter优化初始决策图

  • 根据决策图，加权融合近似系数

  • 利用近似系数的决策图计算区域梯度能量，并以此为基础来进行细节系数的融合

  • 最后将融合的近似系数和融合的细节系数进行拉普拉斯逆变换融合

  • 多图像融合就是每两个重复以上步骤，得到最后结果

4. Experiment

4.1. Objective quality metrics

评价指标：mutual information (QMI), the edge information based index
(QAB=FÞ, entropy (QENÞ, edge-based structural similarity quality metrics (QEÞ and
Yang’s structural similarity quality metrics (QY) and phase congruency-based
ed
quality metrics (QP).

互信息(QMI)、基于边缘信息的索引(QAB/F)、熵(QEN)、基于边缘的结构相似度质量度量(QE和Yang’s结构相似度质量度量(QY)和基于相位一致性的质量度量(QP)。

  • QMI

互信息是对源图像到融合图像之间的信息进行度量。也就是说，评估融合图像与源图像之间的依赖程度。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Y396l1ed-1691209368254)(https://flowus.cn/preview/09529448-95cb-4036-ab68-a90898dff583)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ON1j3N8s-1691209368255)(https://flowus.cn/preview/b27b5209-f6f1-4da5-be51-7fa36af6a3cd)]

  • QAB/F

该度量是通过Sobel边缘检测方法来度量从源图像到融合图像的边缘信息。主要检测边缘的方向和强度。值越大，提取的边界信息越多。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Cw4mfP95-1691209368255)(https://flowus.cn/preview/55f8b67f-1e59-4a72-ad3f-1319a7e0a488)]

  • QEN

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-i2RvCUJ3-1691209368255)(https://flowus.cn/preview/d6c0b888-ca48-4edf-ae54-4ffbac3303bd)]

  • QE

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RdNane0d-1691209368256)(https://flowus.cn/preview/d5a45919-e1e1-48c4-aba8-704729426304)]

  • QY

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-6Y94v5dC-1691209368256)(https://flowus.cn/preview/e4ff5857-99da-429d-8147-57adfe1d1913)]

  • QP

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-r7DbGvD3-1691209368256)(https://flowus.cn/preview/dcdf4bc7-be19-4a2e-adca-c2d99b05d44e)]

4.2 . Parameter setting

为了进一步获得准确的参数值，采用6对不同的多聚焦图像进行测试，如图4所示。为避免软硬件因素对实验结果的影响，取每对运行10次的指标值的平均值作为最终的实验结果。

  • Laplacian pyramid decomposition level

拉普拉斯金字塔的分解水平影响着融合的速度，为了更准确的选择拉普拉斯优化后的金字塔等级，近似系数在基于自适应差分进化的基础上使用空间变换算法。细节系数上，通过比较局部梯度能量的值来完成融合。细节系数的局部能量阈值为0.8，逆变换中块的大小为（2*（level-i）+1），其中i是目前分解层数

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7FV2EVmj-1691209368257)(https://flowus.cn/preview/769f4340-fb89-4625-a8f3-bddafe8f2a73)]

如上表是不同分解等级下评价结果，可以看出分解等级为2的时候效果最好

  • Sliding Windows size

融合细节系数的时候，局部能量通常是固定块大小进行计算的，这个块通常被视为滑动窗口，随着分解层数增加，系数图像越来越小，因此滑动窗口大小也变化，随着分解增加而变小（2*（level-i）+1）

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-X41kYBis-1691209368257)(https://flowus.cn/preview/8f63c2e4-0e24-4047-9bee-653f59a1ab3b)]

上表是不同滑动窗口尺寸下的客观评价指标，可以看出结果差距不大，但是自适应的运算效率最高

  • Threshold

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-OBylqrjH-1691209368257)(https://flowus.cn/preview/79220f54-ab19-4e80-9fe4-9a9cb280d406)]

  • The influence of decision diagram

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-f6IIl3ue-1691209368257)(https://flowus.cn/preview/8d87bf7d-2c7d-4066-9d5d-95a27f53abde)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-YUFElNZH-1691209368258)(https://flowus.cn/preview/73ba9dbc-a098-4d4e-8f13-68e43eb6852e)]

4.3 . Experiment result and analysis

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-syWNOLv5-1691209368258)(https://flowus.cn/preview/129c49ef-4b1d-4b5c-8ef6-3ba2f8d6fa1c)]

5 Conclusion

根据拉普拉斯金字塔和空间区域分割方法的优点，提出了新的分割算法，首先利用拉普拉斯金字塔变换将图像分解为近似系数和细节系数，采用自适应差分进化算法和区域SML，对近似系数图像进行分割得到决策图，并通过引导图像对初始决策图进行优化，其次基于决策图对近似系数进行加权融合。利用局部梯度能量将细节系数和优化后的决策图进行融合，最后拉普拉斯逆变换将图像重建，得到全焦段图像。

实验结果大部分优于目前方法，但是计算时间较长，需要并行计算优化

伏朝
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Multiprocessor+Systems-on-Chips
01-10
7.3.1 Trace-Based Analysis of Communication Architectures 196 Contents xi 7.4 Design Space Exploration for Customizing Communication Architectures 203 7.4.1 Communication Architecture Templates 203 ...
ASA8.2.1+asdm-649
08-15
cisco asa 8.2.1 ios Cisco Adaptive Security Appliance Software for the ASA 5505, 5510, 5520, 5540, and 5550
基于深度学习的全色图像锐化(Pansharpening)论文及代码整理
fovever_的博客
04-30 9513
基于深度学习的全色图像锐化(Pansharpening)论文及代码整理。主要从有监督的全色图像锐化框架和无监督的全色图像锐化框架两个方面来整理现有的基于深度学习的全色图像锐化论文。
Multi-Focus Images Fusion
特别的猫
06-08 1442
今天，试一试----->基于引导滤波和均值滤波的多聚焦图像融合---->实现。实现异源图像的融合。 Today, try -> multi-focus image fusion based on guided filtering and mean filtering -> implementation.Realize the fusion of different images. 看看结果： result： 解释： 对于代码的实现，其实底层就是一个引导滤波器..
图像融合论文及代码网址整理总结（1）——多聚焦图像融合
qq_36542241的博客
09-21 3280
写在前面的话： 本篇博文主要整理汇总一下现有的多聚焦图像融合算法（文章和代码）。适当地，也会整理出相关作者的学术主页。整理这些的初衷，是为了方便自己，顺便也给同领域的研究者在找代码等方面提供些许便利。另外，该领域的文章很多，本篇博文也只是整理了其中的一部分，并且，本人不会对论文内容做过多评论。   同系列的博文还有： 图像融合论文及代码网址整理总结（2）——红外与可见光图像融合 图像融合论文及代...
CVPR 2018 paper ---object detection
weixin_37160065的博客
10-20 7755
转载：https://blog.csdn.net/qq_34848537/article/details/82968217 参考链接 CVPR 2018 论文解读集锦（9月27日更新） CVPR 2018 open access 关键词搜索： “Object Detection ”list  Scale-Transferrable Object Detection Progressiv...
2020年 ICLR 国际会议最终接受论文(poster-paper)列表(三)
热门推荐
yinizhilianlove的博客
02-21 3万+
来源：AINLPer微信公众号（点击了解一下吧） 编辑: ShuYini 校稿: ShuYini 时间: 2020-02-21     2020年的ICLR会议将于今年的4月26日-4月30日在Millennium Hall, Addis Ababa ETHIOPIA（埃塞俄比亚首都亚的斯亚贝巴 千禧大厅）举行。     2020年ICLR会议（Eighth International Con...
Hi-C data analysis tools and papers
qq_39306047的博客
01-10 1万+
Hi-C data analysis tools and papers 全文链接如下： https://github.com/mdozmorov/HiC_tools Tools are sorted by publication date, newest on top. Unpublished tools are listed at the end of each section. Related repositories: HiC_data, scHiC_notes. Please, open an is
CVPR2021论文列表（中英对照）
dovings的博客
07-04 1万+
CVPR论文列表，中英对照
CVPR2020论文列表（中英对照）
dovings的博客
07-04 9588
CVPR论文列表，中英对照
ICCV2019论文题目中文列表
qq_33581906的博客
11-18 7412
英文题目 中文题目 FaceForensics++: Learning to Detect Manipulated Facial Images FaceForensics++：学习检测操纵的面部图像 DeepVCP: An End-to-End Deep Neural Network for Point Cloud Registration DeepV...
RBFPID.rar_RBF+PID_adaptive control_simulink real time_simulink
07-14
在simulink平台上的基于RBF神经网络的PID算法，适用于simulink仿真中系统的实时自适应控制
BIG-DATA--POWER-SYSTEM.rar_智能电网防御_电网+大数据_电网测量_目标防御_集控
09-19
从电网广域时空量测信息角度，解释了电网时空大数据的内涵，提出大电网在线稳定态势评估与自适应防御体系(stability situation assessment and adaptive defense control system，ST-SADC)的整体架构及关键技术。...
Multi-focus image fusion based on wavelet transform and adaptive block的源码
10-25
这是《Multi-focus image fusion based on wavelet transform and adaptive block》一文的源码。
MATLAB神经网络---regressionLayer回归输出层
qq_45452617的博客
06-12 906
回归层计算回归任务的半均方误差损失。Matlab中的regressionLayer函数是一个深度学习工具箱中的函数,用于定义回归问题的损失函数层。它可用于神经网络模型的最后一层，将预测值与目标值进行比较,并计算出损失值。
从GAN到WGAN（02/2）
gongdiwudu的专栏
06-14 1181
生成对抗网络 （GAN） 在许多生成任务中显示出巨大的效果，以复制现实世界的丰富内容，如图像、人类语言和音乐。它的灵感来自博弈论：两个模型，一个生成器和一个批评家，在相互竞争的同时使彼此更强大。然而，训练GAN模型是相当具有挑战性的，因为人们面临着训练不稳定或收敛失败等问题。在这里，我想解释一下生成对抗网络框架背后的数学原理，为什么很难训练，最后介绍一个旨在解决训练难点的GAN修改版本。
景芯SoC A72的时钟树分析
u011075954的专栏
06-13 786
innovus的ctslog中的Clock DAG信息可以报出来CTS主要运行步骤的关键信息，比如clustering，balancing做完后的clock tree的长度，clock tree上所用的buffer、inverter，icg cell数量，clock skew等信息。可以看到cell、sink的counts，也可以看到BUF、ICG的数量，接下来我们来看看景芯SoC A72 TOP的CLOCK ID和BUF个数的变化吧。先看下景芯SoC A72项目的cts latency变化过程。
大模型基础——从零实现一个Transformer(5)
最新发布
fan_fan_feng的专栏
06-18 224
上一篇文章已经把Encoder模块和Decoder模块都已经实现了，接下来来实现完整的Transformer。
一维cnn+Grad-CAM pytorch
12-13
weights = F.adaptive_avg_pool1d(self.gradient, 1) saliency_map = (weights * self.feature_maps).sum(dim=1, keepdim=True) saliency_map = F.relu(saliency_map) saliency_map = F.interpolate(saliency_...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值