【图像重建】卷积神经网络的图像超分辨率重建（含PSNR）【含Matlab源码 1816期】

最新推荐文章于 2024-07-08 22:30:46 发布

Matlab武动乾坤

最新推荐文章于 2024-07-08 22:30:46 发布

阅读量1k

点赞数 24

分类专栏： Matlab图像处理（进阶版）文章标签： matlab

本文链接：https://blog.csdn.net/KeepingMatlab/article/details/136033551

版权

Matlab图像处理（进阶版）专栏收录该内容

833 篇文章 14 订阅

订阅专栏

✅博主简介：热爱科研的Matlab仿真开发者，修心和技术同步精进，Matlab项目合作可私信。
🍎个人主页：海神之光
🏆代码获取方式：
海神之光Matlab王者学习之路—代码获取方式
⛳️座右铭：行百里者，半于九十。

⛄一、卷积神经网络的图像超分辨率重建简介

图像超分辨率增强技术在医疗影像、视频监控、航空、多媒体以及日常生活等领域有着较为广泛的应用。随着深度学习网络的发展以及计算机运算能力的不断提升,图像超分辨率增强算法也在持续改进,从早期的仅有三个卷积层的SRCNN发展到现在的基于生成式对抗网络的图像超分辨率增强算法。如今,图像超分辨率增强算法大都是基于生成式对抗网络[1],图像超分辨率重建及其应用正逐渐走向成熟。在生成式对抗网络相关算法的基础上,研究者们还在不断进行相关的优化,例如采样方式、特征提取、卷积层数的改变等等,以使图像超分辨率增强的训练效果越来越好。本文将在基于生成式对抗网络的图像分辨率增强算法基础上,结合陶瓷产品个性化定制等应用场景,进行进一步的改进和优化,以期望获得更好的应用效果。本文重点进行了三个方面的改进和优化:一是对图像的下采样操作进行改进;使用高斯金字塔的下采样方式从而获得低分辨率图片LR,相较于高斯滤波,在训练效果和训练时间上都有一定程度的优化及提升,在保留图中对于训练有利的重要信息的能力有所提高。二是在算法优化过程中,去掉归一化操作;在生成式对抗网络的图像超分辨率重建的实现过程中,通过对算法中归一化操作进行测试,发现归一化操作在实际训练过程中消耗了大量的计算资源,延长了训练时长,因此选择了去掉归一化操作,提高算法效率,缩短训练时长。三是对轻量化图像超分辨率的神经网络进行了研究和应用;对轻量化的图像超分辨率增强算法进行了改进,对训练时长以及重建效果进行了平衡及优化。

1 卷积神经网络的简介
卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。卷积神经网络有三个基本概念：局部感知域(Local Re cpr tive Field) 、特征映射和池化(Pooling) 。
局部感知域：每一个卷积神经网络的输入都是2828的二维神经元。每一个图像中的像素点的灰度值都对应着2828的神经元。在卷积网络结构中，将每一个灰8度值的像素点用一个很小的区域连接到隐藏层，这个区域就是局部感知域。
特征映射：训练数据输入之后经过处理后从输入层进入隐含层，在输入层与隐含层之间的关系映射就是特征映射。
池化：池化操作主要目的是提取特征更加明显，放大一个包含多个神经元的区域最大的值的操作叫最大池化。

2 图像质量评价指标
对于生成的图像，实验中需要对图像的优化的效果进行评测。主观评价上，感觉图像的分辨率是否增加，图像的质量是否提高，对于图像的感官上会不会存在一些突兀或者不平缓的现象。客观评价就是通过数学计算给出客观数值上的评价。常用的图像质量评价指标一般有平均主观得分MOS、峰值信噪比PSNR、结构相似性S SIM、均方误差MSE等等”
峰值信噪比(PSNR) ：峰值信噪比同样是表达不同图像中像素位置的差异。它
与均方误差有着相似之处。峰值信噪比可以表达如下：
在这里插入图片描述
峰值信噪比与均方误差相似之处在于都是表达像素的差异，不同的是峰值信噪比的值越大，表示重建效果越好，反之越差。公式中的n表示像素的位数。与MSE不同， PSNR值越高表示图像重建质量越好，反之则表示越差。

⛄二、部分源代码

% =========================================================================
% Test code for Super-Resolution Convolutional Neural Networks (SRCNN)

% =========================================================================

close all;
clear all;

%% read ground truth image
im = imread(‘Set5\butterfly_GT.bmp’);
%im = imread(‘Set14\zebra.bmp’);

%% set parameters
up_scale = 3;
model = ‘model\9-5-5(ImageNet)\x3.mat’;
% up_scale = 3;
% model = ‘model\9-3-5(ImageNet)\x3.mat’;
% up_scale = 3;
% model = ‘model\9-1-5(91 images)\x3.mat’;
% up_scale = 2;
% model = ‘model\9-5-5(ImageNet)\x2.mat’;
% up_scale = 4;
% model = ‘model\9-5-5(ImageNet)\x4.mat’;

%% work on illuminance only
if size(im,3)>1
im = rgb2ycbcr(im);
im = im(:, :, 1);
end
im_gnd = modcrop(im, up_scale);
im_gnd = single(im_gnd)/255;

%% bicubic interpolation
im_l = imresize(im_gnd, 1/up_scale, ‘bicubic’);
im_b = imresize(im_l, up_scale, ‘bicubic’);

%% SRCNN
im_h = SRCNN(model, im_b);

%% remove border
im_h = shave(uint8(im_h * 255), [up_scale, up_scale]);
im_gnd = shave(uint8(im_gnd * 255), [up_scale, up_scale]);
im_b = shave(uint8(im_b * 255), [up_scale, up_scale]);

%% compute PSNR
psnr_bic = compute_psnr(im_gnd,im_b);
psnr_srcnn = compute_psnr(im_gnd,im_h);

%% show results
fprintf(‘PSNR for Bicubic Interpolation: %f dB\n’, psnr_bic);
fprintf(‘PSNR for SRCNN Reconstruction: %f dB\n’, psnr_srcnn);

figure, imshow(im_b); title(‘双三次插值’);
figure, imshow(im_h); title(‘SRCNN重建’);

%imwrite(im_b, [‘Bicubic Interpolation’ ‘.bmp’]);
%imwrite(im_h, [‘SRCNN Reconstruction’ ‘.bmp’]);

⛄三、运行结果

在这里插入图片描述

⛄四、matlab版本及参考文献

1 matlab版本
2014a

2 参考文献
[1]王子扬.基于卷积神经网络的图像超分辨率重建[D].景德镇陶瓷大学

3 备注
简介此部分摘自互联网，仅供参考，若侵权，联系删除

🍅 仿真咨询
1 各类智能优化算法改进及应用
生产调度、经济调度、装配线调度、充电优化、车间调度、发车优化、水库调度、三维装箱、物流选址、货位优化、公交排班优化、充电桩布局优化、车间布局优化、集装箱船配载优化、水泵组合优化、解医疗资源分配优化、设施布局优化、可视域基站和无人机选址优化

2 机器学习和深度学习方面
卷积神经网络（CNN）、LSTM、支持向量机（SVM）、最小二乘支持向量机（LSSVM）、极限学习机（ELM）、核极限学习机（KELM）、BP、RBF、宽度学习、DBN、RF、RBF、DELM、XGBOOST、TCN实现风电预测、光伏预测、电池寿命预测、辐射源识别、交通流预测、负荷预测、股价预测、PM2.5浓度预测、电池健康状态预测、水体光学参数反演、NLOS信号识别、地铁停车精准预测、变压器故障诊断

3 图像处理方面
图像识别、图像分割、图像检测、图像隐藏、图像配准、图像拼接、图像融合、图像增强、图像压缩感知

4 路径规划方面
旅行商问题（TSP）、车辆路径问题（VRP、MVRP、CVRP、VRPTW等）、无人机三维路径规划、无人机协同、无人机编队、机器人路径规划、栅格地图路径规划、多式联运运输问题、车辆协同无人机路径规划、天线线性阵列分布优化、车间布局优化

5 无人机应用方面
无人机路径规划、无人机控制、无人机编队、无人机协同、无人机任务分配

6 无线传感器定位及布局方面
传感器部署优化、通信协议优化、路由优化、目标定位优化、Dv-Hop定位优化、Leach协议优化、WSN覆盖优化、组播优化、RSSI定位优化

7 信号处理方面
信号识别、信号加密、信号去噪、信号增强、雷达信号处理、信号水印嵌入提取、肌电信号、脑电信号、信号配时优化

8 电力系统方面
微电网优化、无功优化、配电网重构、储能配置

9 元胞自动机方面
交通流人群疏散病毒扩散晶体生长

10 雷达方面
卡尔曼滤波跟踪、航迹关联、航迹融合