图像重建后由于图像块拼接出现图像块效之优化方案

 

目录

 

介绍

方案一:


介绍

         随着深度学习的发展,神经网络已经深入各行各业,这里主要介绍下神经网络对图像的重建问题,这里图像重建可以是图像超分辨,图像增强,图像去噪等等。由于现在的显卡显存的限制,对于分辨率比较大的图像来说,直接将原图作为输入往往会导致显存不够,通常的处理的办法是将原图进行切块处理,对图像块进行重建,然后将图像块进行拼接。下面将一一介绍其方案以优化的方案。

方案一:

         一个很暴力直接的方案就是图像直接非重叠的进行切块,其图解如下图所示:

 

假设上图黑色边界表示原图像的大小,图像的分辨率为1024x1024,现以将图像均切成四等份为例,可以切成上图四个512x512大小的图像块,以上切块像块处理方案没有进行重叠。此时的图像块输入大小为512x512。其图像块作为输入得到重建后的图像块,最后将其进行拼接。这样会导致图像重建后每个图像的边界信息处理后不一致,然后拼接后的图像很明显的出现块效应。如下图所示:

 

可以观察此重建后的图像的局部信息,如下图所示:

很明显的看到会出现图像块效应。

因此需要对其进行改进。

方案二

对于拼接处进行重叠超分重建,然后对重叠部分进行取平均值,具体图解如下:

 以将图像切成4等份的patch为例,蓝色边界表示原图大小,这样会形成红色重叠部分假设红色重叠部分为16个像素宽度,实际每个图像块大小为蓝色图像块大小504x504。此时图像块的输入大小仍然为520x520(512+8)(蓝色部分504加红色重叠部分16),重建后进行原位像素拼接,拼接后对于红色重叠部分进行取平均值。

方案三

通过对实际图像大小的块对外扩充一些像素然后对扩充后的图像进行图像重建,图像块重建后对于重叠部分进行切除舍弃处理。具体图解如下图所示:

蓝色的边界仍然表示原图大小,其中黑色实线表示图像中轴线。首先将图像四周进行padding,padding大小为红色重叠部分16个像素,padding后的图像大小为1056x1056。将padding后的图像进行进行切块,此时的输入图像块大小为548x548(512+16*2)进行重建,然后将重建后的图像块切除四周16个像素得到512x512,最后将其依次拼接起来。对于图像块1,重建后将红色部分切除。对于图像块2,左边部分切除黄色部分。

总结

通过实验表明,通过对方案一改进后的方案二、三能够很好的去除块效应,同时,方案三的效果要比方案二更佳。

  • 1
    点赞
  • 20
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值