图像增强技术

最新推荐文章于 2024-08-19 16:29:10 发布

北落师门XY

最新推荐文章于 2024-08-19 16:29:10 发布

阅读量2.0k

点赞数

分类专栏： ML、DL

本文链接：https://blog.csdn.net/weixin_41819299/article/details/117292596

版权

ML、DL 专栏收录该内容

34 篇文章 5 订阅

订阅专栏

这篇文章笼统地介绍一下失焦模糊、运动模糊、低照图像恢复、hdr、超级夜景等提高图像质量的技术。

图像拍摄的2个重要参数：光圈大小及曝光时间

光圈大小：控制光线穿过孔的大小

曝光时间（又称快门速度）：控制光线投射到传感器上的时间

对某个场景进行拍摄，外部光线是固定的，要得到合适的曝光，需要将两个参数调节结合。光圈控制了景深，太近太远都会模糊，大光圈会导致景深变浅，远处（景深外）模糊，即失焦模糊（可以这么理解，但不一定正确，人看远处会眯眼看，睁大眼睛看不清）。长的曝光时间内，手抖或者物体移动会引入运动模糊。

对上图牛顿摆进行拍摄，根据能量守恒定律，右侧球撞击，最左侧球弹出，循环往复。左图小光圈（f/22）大曝光时间（0.33sec），导致运动模糊。右图大光圈小曝光时间，导致背景失焦模糊。ISO 代表感光度，此场景固定。

两种模糊

失焦模糊 defocus blur

运动模糊 motion blur

失焦模糊检测

Rethinking the Defocus Blur Detection Problem and A Real-Time Deep DBD Model

上海交通大学

通过swap操作实现了数据放大及自监督（自监督损失见Lself），在训练过程中可避免语义的干扰。

并将模糊检测与显著性检测任务相结合，有2种模糊是较难检测的：'salient but out-of-focus', 'in-focus but not salient'。对这些区域分配更大的权重，做难样本挖掘。

加权后：

------

加权后：

---------

损失实质有3个，见上上图。对其中2个损失加了权重做难样本挖掘。

去失焦模糊

Defocus Deblurring Using Dual-Pixel Data

Dp相机的初衷是为了利用左右像素的差异自动对焦。输入图像I显示空间变化的离焦模糊。成像时采集与I相对应的两幅双像素(DP)图像L和R。从L和R DP图像斑块的互相关可以看出，在焦点内和焦点外的斑块表现出不同的像素视差量。这些信息有助于DNN了解图像不同区域的模糊程度。

不在整幅图像上训练，而是在patch上训练。The size of input and output layers is set to 512×512×6 and 512 × 512 × 3, respectively. This is because we train not on the full-size images but on the extracted image patches.

双像素相机提供了500个场景共2000张图像的成对数据集，每个场景包括：

(i) 失焦图像(ii) 2个DP 子图(iii)聚焦图像

Deblurring by Realistic Blurring——腾讯

learning-to-Blur GAN (BGAN)

learning-to-DeBlur GAN (DBGAN)

noise map的获取方式：用4维的正态分布的噪声重复128*128次模拟

To obtain the noise map, we sample a noise vector of length 4 from a normal distribution and duplicate it 128 × 128 times in the spatial dimension to obtain a 4 × 128 × 128 noise map as in [46]. In this way, we can generate various blurry images based on one sharp image.

Relativistic Blur Loss (RBL)：为了充分训练BGAN-G，使得G生成的图真假难辨

Real and synthesized images are labeled as 1 and 0, respectively. (a) A traditional loss function is used to update the generator to create blurry images (label=0) which are similar to real ones (label=1). (b) The RBL not only increases the probability that generated images look real (0 ! 0.5, which is labeled as “Push”), but also simultaneously decreases the output probability that real images are real (1 ! 0.5, which is labeled as “Pull”).

CycleGAN With a Blur Kernel for Deconvolution Microscopy:Optimal Transport Geometry

研究特定场景下的deblur问题：当前应用场景为显微镜成像，模糊核h是已知的，也就是blur-gan是已知的。

去运动模糊

DeblurGAN: Blind Motion Deblurring Using Conditional Adversarial Networks

https://blog.csdn.net/PPLLO_o/article/details/91403642

随机生成轨迹，轨迹的下一个点的位置是基于先前的点速度和位置，模拟更逼真和复杂的模糊内核，生成成对数据集。比如一个五维的对角矩阵，可以模拟45度角的运动模糊。

提出了一种基于随机轨迹的方法，用于从一组清晰图像以自动方式生成用于运动去模糊训练的数据集。它可以模拟更逼真和复杂的模糊内核。我们遵循Boracchi和Foi [4]描述的随机轨迹生成的想法。然后通过将子像素内插应用于轨迹矢量来生成内核。每个轨迹矢量是复值矢量，其对应于在连续域中跟随2D随机运动的对象的离散位置。轨迹生成是通过马尔可夫过程完成的，总结在算法1中。轨迹的下一个点的位置是基于先前的点速度和位置，高斯扰动，脉冲扰动和确定性惯性分量随机生成的。

用于运动去模糊的条件GAN。生成器网络将模糊图像作为输入并产生清晰图像的估计。在训练期间，判别网络将恢复的和清晰的图像作为输入并估计它们之间的距离。根据清晰和恢复图像的特征图之间VGG-19 [30]的激活差异，总损失包括来判别器的WGAN损失和感知损失[15]。在测试时，只保留生成器。