【多聚焦图像融合数据集制作From:VOC2012】Method From：Fully Convolutional Network-Based Multifocus Image Fusion

已于 2024-05-08 22:29:23 修改
阅读量1.9k 收藏 18
点赞数 1
文章标签： python 计算机视觉 人工智能
于 2022-10-22 20:21:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiexinzhe12345/article/details/127466708
版权

1、Fully Convolutional Network-Based Multifocus Image Fusion
2、论文提及数据集制作方式
论文提及的融合方法
一对多焦点图像的合成程序示意图。该程序有五个步骤：高斯滤波、图像转换、图像反转、像素化乘法和像素化加法。首先，我们使用高斯滤波来产生各种版本的模糊图像。在图像转换和图像反转中，我们利用地面真实图像产生两个三通道的二进制掩码，分别用于聚焦模糊图像中的前景和背景。接下来，根据二进制掩码和原始图像产生部分图像，其中只包含前景或背景的焦点区域或失焦区域。最后，一对合成的多焦点图像可以从一对部分图像中得到。A1和A2或B1和B2。
3、Python PIL复现（VOC2012_240以及子文件夹代码会自己创建，只需要在项目下加入VOC2012以及两个子文件夹）

import os
import cv2
import argparse
import random
import numpy as np
def Ramdom_GaussianBlur(input):
    blur_levels = [(5, 5), (7, 7), (9, 9), (11, 11),(13,13),(15,15)]  # 不同的模糊级别，每个元素是一个元组，包含了高斯核的大小
    selected_level = random.choice(blur_levels)  # 随机选择一个模糊级别
    out = cv2.GaussianBlur(input, selected_level, 0)  # 使用选定的模糊级别进行高斯模糊处理
    return out
def make_mask(gt):
    mask=np.zeros_like(gt)
    mask[gt == 220] = 0
    mask[mask!=0]=255
    return mask
def trans(input_path1,input_path2,mode='train'):#mode=0 train mode=1 test
    Original_img = cv2.imread(input_path1).astype(np.float32) / 255.0
    Mask1_img=cv2.imread(input_path2,0)
    Mask1_img[Mask1_img==220]=0
    Mask1_img[Mask1_img != 0] = 255
    Mask1_img=Mask1_img.astype(np.float32) / 255.0

    Mask2_img = 1 - Mask1_img

    Blurred_img = Ramdom_GaussianBlur(Original_img)

    Mask1_img = np.stack((Mask1_img, Mask1_img, Mask1_img), axis=-1)
    Mask2_img = np.stack((Mask2_img, Mask2_img, Mask2_img), axis=-1)

    Synthesized_imgA = Mask1_img * Original_img + (1 - Mask1_img) * Blurred_img
    Synthesized_imgB = Mask2_img * Original_img + (1 - Mask2_img) * Blurred_img

    result_root1 = os.path.join(os.getcwd(), args.out_dir_name, mode, 'sourceA')
    result_root2 = os.path.join(os.getcwd(), args.out_dir_name, mode, 'sourceB')
    result_root3 = os.path.join(os.getcwd(), args.out_dir_name, mode, 'decisionmap')
    result_root4 = os.path.join(os.getcwd(), args.out_dir_name, mode, 'groundtruth')

    # Synthesized_imgA save path
    save_rootA = os.path.join(result_root1, os.path.split(input_path1)[1].split('.')[0])
    # Synthesized_imgB save path
    save_rootB = os.path.join(result_root2, os.path.split(input_path1)[1].split('.')[0])
    # mask save path
    save_rootC = os.path.join(result_root3, os.path.split(input_path1)[1].split('.')[0])
    # ori save path
    save_rootD = os.path.join(result_root4, os.path.split(input_path1)[1].split('.')[0])

    cv2.imwrite(save_rootA + '.jpg', (Synthesized_imgA * 255).astype(np.uint8))
    cv2.imwrite(save_rootB + '.jpg', (Synthesized_imgB * 255).astype(np.uint8))
    cv2.imwrite(save_rootC + '.png', (Mask1_img * 255).astype(np.uint8))
    cv2.imwrite(save_rootD + '.jpg', (Original_img * 255).astype(np.uint8))
def main(args):
    # 创建文件夹
    dirname = args.out_dir_name
    if os.path.exists(dirname) is False:
        os.makedirs(dirname)
    if os.path.exists('{}/train'.format(dirname)) is False:
        os.makedirs('{}/train'.format(dirname))
    if os.path.exists('{}/test'.format(dirname)) is False:
        os.makedirs('{}/test'.format(dirname))
    if os.path.exists('{}/train/sourceA'.format(dirname)) is False:
        os.makedirs('{}/train/sourceA'.format(dirname))
    if os.path.exists('{}/train/sourceB'.format(dirname)) is False:
        os.makedirs('{}/train/sourceB'.format(dirname))
    if os.path.exists('{}/test/sourceA'.format(dirname)) is False:
        os.makedirs('{}/test/sourceA'.format(dirname))
    if os.path.exists('{}/test/sourceB'.format(dirname)) is False:
        os.makedirs('{}/test/sourceB'.format(dirname))
    if os.path.exists('{}/test/groundtruth'.format(dirname)) is False:
        os.makedirs('{}/test/groundtruth'.format(dirname))
    if os.path.exists('{}/train/groundtruth'.format(dirname)) is False:
        os.makedirs('{}/train/groundtruth'.format(dirname))
    if os.path.exists('{}/test/decisionmap'.format(dirname)) is False:
        os.makedirs('{}/test/decisionmap'.format(dirname))
    if os.path.exists('{}/train/decisionmap'.format(dirname)) is False:
        os.makedirs('{}/train/decisionmap'.format(dirname))

    #os.getcwd()：E:\pycharmproject\makeupdatasets_voc2012
    data_root=args.data_root#数据集位置E:\pycharmproject\makeupdatasets_voc2012\VOC2012
    Ground_list_name = [i for i in os.listdir(os.path.join(data_root,'SegmentationObject'))if i.endswith('png')]
    Ground_list=[os.path.join(data_root,'SegmentationObject',i)for i in Ground_list_name]
    Original_list=[os.path.join(data_root,'JPEGImages',i.split('.')[0]+'.jpg')for i in Ground_list_name]

    for i in range(len(Ground_list)):
        if i<=int(len(Ground_list)*0.85):#0.7就是 (训练：测试)=(7：3)
            trans(Original_list[i],Ground_list[i],'train')
            print('finish no.', i + 1, 'for train datasets')
        else:
            trans(Original_list[i], Ground_list[i],'test')
            print('finish no.', i + 1, 'for test datasets')

if __name__ == "__main__":
    parser = argparse.ArgumentParser(description='Make dataset for training')
    parser.add_argument('--rate', type=float, default=0.85,
                        help='split rate')
    parser.add_argument('--data_root', type=str,
                        default=r'E:\pycharmproject\makeupdatasets_voc2012\VOC2012', help='DUTS path')
    parser.add_argument('--out_dir_name', type=str, default='VOC2012_MFF')
    args = parser.parse_args()
    main(args)

4、从DUTS数据集制作多聚焦数据集已更新，代码的复用性也改了一下，看这个吧

# -*- coding: utf-8 -*-
# @Author  : XinZhe Xie
# @University  : ZheJiang University
import os
import random
import numpy as np
import cv2
import argparse

def Ramdom_GaussianBlur(input):
    blur_levels = [(5, 5), (7, 7), (9, 9), (11, 11),(13,13),(15,15)]  # 不同的模糊级别，每个元素是一个元组，包含了高斯核的大小
    selected_level = random.choice(blur_levels)  # 随机选择一个模糊级别
    out = cv2.GaussianBlur(input, selected_level, 0)  # 使用选定的模糊级别进行高斯模糊处理
    return out
def trans(args,input_path1,input_path2,mode):
    Original_img = cv2.imread(input_path1).astype(np.float32) / 255.0
    Mask1_img = cv2.imread(input_path2).astype(np.float32)/ 255.0
    Mask2_img = 1 - Mask1_img
    Blurred_img = Ramdom_GaussianBlur(Original_img)

    Synthesized_imgA=Mask1_img*Original_img+(1-Mask1_img)*Blurred_img
    Synthesized_imgB=Mask2_img*Original_img+ (1-Mask2_img)*Blurred_img

    result_root1 = os.path.join(os.getcwd(), args.out_dir_name,mode,'sourceA')
    result_root2 = os.path.join(os.getcwd(), args.out_dir_name,mode,'sourceB')
    result_root3 = os.path.join(os.getcwd(), args.out_dir_name,mode,'decisionmap')
    result_root4 = os.path.join(os.getcwd(), args.out_dir_name,mode,'groundtruth')

    #Synthesized_imgA save path
    save_rootA = os.path.join(result_root1,os.path.split(input_path1)[1].split('.')[0])
    #Synthesized_imgB save path
    save_rootB = os.path.join(result_root2,os.path.split(input_path1)[1].split('.')[0])
    #mask save path
    save_rootC = os.path.join(result_root3,os.path.split(input_path1)[1].split('.')[0])
    #ori save path
    save_rootD = os.path.join(result_root4,os.path.split(input_path1)[1].split('.')[0])

    cv2.imwrite(save_rootA + '.jpg', (Synthesized_imgA * 255).astype(np.uint8))
    cv2.imwrite(save_rootB + '.jpg', (Synthesized_imgB * 255).astype(np.uint8))
    cv2.imwrite(save_rootC + '.png', (Mask1_img * 255).astype(np.uint8))
    cv2.imwrite(save_rootD + '.jpg', (Original_img * 255).astype(np.uint8))


def main(args):
    dirname=args.out_dir_name
    if os.path.exists(dirname) is False:
        os.makedirs(dirname)
    if os.path.exists('{}/train'.format(dirname)) is False:
        os.makedirs('{}/train'.format(dirname))
    if os.path.exists('{}/test'.format(dirname)) is False:
        os.makedirs('{}/test'.format(dirname))
    if os.path.exists('{}/train/sourceA'.format(dirname)) is False:
        os.makedirs('{}/train/sourceA'.format(dirname))
    if os.path.exists('{}/train/sourceB'.format(dirname)) is False:
        os.makedirs('{}/train/sourceB'.format(dirname))
    if os.path.exists('{}/test/sourceA'.format(dirname)) is False:
        os.makedirs('{}/test/sourceA'.format(dirname))
    if os.path.exists('{}/test/sourceB'.format(dirname)) is False:
        os.makedirs('{}/test/sourceB'.format(dirname))
    if os.path.exists('{}/test/groundtruth'.format(dirname)) is False:
        os.makedirs('{}/test/groundtruth'.format(dirname))
    if os.path.exists('{}/train/groundtruth'.format(dirname)) is False:
        os.makedirs('{}/train/groundtruth'.format(dirname))
    if os.path.exists('{}/test/decisionmap'.format(dirname)) is False:
        os.makedirs('{}/test/decisionmap'.format(dirname))
    if os.path.exists('{}/train/decisionmap'.format(dirname)) is False:
        os.makedirs('{}/train/decisionmap'.format(dirname))

    Ground_list_name = [i for i in os.listdir(os.path.join(args.data_root,'DUTS-{}'.format(args.mode),'DUTS-{}-Mask'.format(args.mode)))if i.endswith('png')]#MASK
    Ground_list=[os.path.join(args.data_root,'DUTS-{}'.format(args.mode),'DUTS-{}-Mask'.format(args.mode),i)for i in Ground_list_name]
    Original_list=[os.path.join(args.data_root,'DUTS-{}'.format(args.mode),'DUTS-{}-Image'.format(args.mode),i.split('.')[0]+'.jpg')for i in Ground_list_name]#原图

    for i in range(len(Ground_list)):
        if args.mode=='TR':
            trans(args,Original_list[i],Ground_list[i],'train')
            print('finish no.', i + 1, 'for train datasets')
        else:
            trans(args,Original_list[i], Ground_list[i],'test')
            print('finish no.', i + 1, 'for test datasets')

if __name__ == "__main__":
    parser = argparse.ArgumentParser(description='Make dataset for training')
    parser.add_argument('--mode', type=str,default='TR', help='TE/TR,Correspond to making training set or verification set respectively.')
    parser.add_argument('--data_root', type=str, default=r'C:\Users\dell\Desktop\Working\GAN_MFF\code_gan_mff\DUTS',help='DUTS path')
    parser.add_argument('--out_dir_name', type=str, default='DUTS_MFF')
    args = parser.parse_args()
    main(args)
努力学习ing小谢
关注
  • 1
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 15
    评论
A-New-Convolutional-Neural-Network-Based-Data-Driven-Fault-Diagnosis-Method:基于CNN的机械科学论文的TensorFlow实现
05-18
通过将信号转换为二维（2-D）图像的转换方法，该方法可以提取转换后的二维图像的特征，并消除手工特征的影响。 我觉得这很有趣，因为它将CNN应用于机械场景。 .py文件是CNN的实现。 但是我没有提供如何预处理数据集...
R-FCN: Object Detection via Region-based Fully Convolutional Networks
11-15
本文主要讨论了 R-FCN（Region-based Fully Convolutional Networks）的一种对象检测方法，它是基于全卷积网络的区域提议网络（RPN），旨在解决目标检测的准确性问题。R-FCN 方法的主要思想是使用位置敏感的分数图，...
图像融合论文及代码网址整理总结（1）——多聚焦图像融合
qq_36542241的博客
09-21 3362
写在前面的话： 本篇博文主要整理汇总一下现有的多聚焦图像融合算法（文章和代码）。适当地，也会整理出相关作者的学术主页。整理这些的初衷，是为了方便自己，顺便也给同领域的研究者在找代码等方面提供些许便利。另外，该领域的文章很多，本篇博文也只是整理了其中的一部分，并且，本人不会对论文内容做过多评论。   同系列的博文还有： 图像融合论文及代码网址整理总结（2）——红外与可见光图像融合 图像融合论文及代...
【图像融合】Dif-Fusion:基于扩散模型的红外/可见图像融合方法
qq_45752541的博客
05-11 1万+
颜色在人类的视觉感知中起着重要的作用，反映了物体的光谱。然而，现有的红外和可见光图像融合方法很少探索如何直接处理多光谱/通道数据，并实现较高的彩色保真度。本文提出了一种利用扩散模型diffusion来生成多通道输入数据的分布，提高了多源信息聚合的能力和颜色的保真度。具体来说，我们没有将现有的融合方法中的多通道图像转换为单通道数据，而是在潜在空间中创建了具有正向和反向扩散过程的去噪网络的多通道数据分布。然后，我们利用去噪网络提取具有可见光和红外信息的多通道扩散特征。最后，我们。
【数据融合】千亿体素多维荧光成像结合单像素检测和数据融合（Matlab代码实现）
最新发布
weixin_46039719的博客
04-27 893
时间分辨荧光成像是生物医学应用中的关键工具，因为它可以非侵入性地获取功能和结构信息。然而，大量收集的数据在采集速度和处理需求方面带来挑战。在这里，我们介绍了一种新颖的技术，可以在快速方式下只测量数据集的0.03%的情况下获取千亿体素的4D超立方体。该系统将两个单像素相机和一个传统的2D阵列探测器并行工作。数据融合技术被引入，以将每个传感器获取的单独的2D和3D投影组合在一起，形成最终的高分辨率4D超立方体，可用于根据其光谱和时间特征识别不同的荧光物种。在过去几十年中，光学系统收集的数据量呈指数增长。
多模态融合 fusion 的各种操作
cheetah023的博客
08-30 3828
文章转载： 作者丨小奚每天都要学习@知乎（已授权） 来源丨https://zhuanlan.zhihu.com/p/152234745 Zhang, C., Yang, Z., He, X., \& Deng, L. (2020). Multimodal intelligence: Representation learning, information fusion, and applications.IEEE Journal of Selected Topics in Signal Pro
图像融合论文阅读：DDFM: Denoising Diffusion Model for Multi-Modality Image Fusion
图像强的博客
01-02 2122
这篇文章和CDDFuse是同一个团队的成果。 作者利用扩散概率模型DDPM（denoising diffusion probabilistic model ）用在多模态图像融合任务中，提出了去噪扩散图像融合模型（Denoising Diffusion image Fusion Model (DDFM)），融合任务被定义为了在DDPM采样网络下的条件生成问题，并进一步划分为了：无条件生成和最大似然这两个子问题。
MAFusion:Multiscale Attention Network for Infrared and Visible Image Fusion
wsgaolitou的博客
04-16 611
该算法有效处理融合后的图像存在的伪影和不一致性（融合图像丢失重要信息）问题。
【多聚焦图像：GAN：无监督】
weixin_43690932的博客
12-21 1730
仅供自己参考
multifocus image fusion
04-01
标题中的“multifocus image fusion”指的是多焦点图像融合技术，这是计算机视觉和图像处理领域的一个重要课题。这种技术主要用于解决同一场景下由于相机对焦不准或者物体深度不同导致的不同图像部分聚焦情况不一致...
数据融合matlab代码-Pansharpening-ConvolutionalAutoEncoder:基于卷积自动编码器的多光谱图像融合：h
05-22
数据融合matlab代码基于卷积自动编码器的多光谱图像融合 概述 该存储库包含运行基于深度学习的全色锐化方法以在遥感应用中融合全色和多光谱图像所必需的代码。 有关该算法的详细信息，请参见我们的论文。 用法：泛...
最新多聚焦图像融合源图像
02-27
对于做多聚焦图像融合来说，是个不错的标准源图像
多聚焦图像融合算法的研究
03-14
多聚焦图像融合算法的研究，需要的可以下载来看下，希望对您有帮助
多聚焦图像融合源代码（MATLAB）
08-17
图像低频用平均法进行融合，高频用发差法和最大系数法融合，有源代码，有图像，可正常运行
多聚焦图像融合
11-16
image fusion based on wavelet
图像融合评价指标， 多聚焦
09-18
图像融合评价指标： 信息熵（IE）、标准差（STD）、对比度（CON）、空间频率（SF）、平均梯度（AG）及 Piella 基于结构相似性的两个指标 QW与 QE等
Multi-focus image fusion with a deep convolutional neural network的源码
10-25
标题中的“Multi-focus image fusion with a deep convolutional neural network”是一种图像处理技术，它利用深度卷积神经网络（Deep Convolutional Neural Network, DCNN）来实现多焦点图像的融合。这种技术的主要...
利用CNN实现图像和数值数据融合
JaysonWong的博客
09-01 6541
本篇文章主要提供一种图像和数值型数据融合的思路和关键代码，具体的准确性不高是因为选取的例子，仅供参考，实际应用中还要考虑图像的归一化、去噪、随机旋转、图像增强等，对于融合后的数据，仍需要进行特征工程，以及模型超参数的调整，来实现准确性的进一步提升。...
[ 数据集 ] VOC 2012 数据集介绍
热门推荐
A_John 的博客
04-21 1万+
[ 数据集 ] VOC 2012 数据集介绍 VOC 2012 它从根本上说是一个有监督的学习问题，提供了一组标记图像的训练集； 包括二十个对象类别：Person、Animal、Vehicle、Indoor； 有三个主要的对象识别竞赛：分类、检测和分割； VOC 2012 文件夹介绍 1）Annotations 2）ImageSets Action Layout Main Segmentation 3）JPEGImages 4）SegmentationClass 5）SegmentationObject..
fast region-based convolutional network method
04-28
快速区域卷积网络（Fast Region-Based Convolutional Network）是一种图像识别算法，它可以在目标检测和图像分割中使用。该方法结合了区域建议（Region Proposals）和卷积神经网络（Convolutional Neural Networks）...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 15
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值