个人结论:深度学习-图像去模糊
前言
emmmmmm 研究生期间的研究内容是图像去模糊,本帖仅总结一下学习期间对图像去模糊任务的一些看法。内容较为简单,如有帮助不胜荣幸。
图像重建任务
首先比较确定的是,图像去模糊任务是属于图像重建任务的大类,包括图像去噪,图像去雨,图像去雾,水下图像修复等。类似MPRNet(MPRNet:Multi-Stage Progressive Image Restoration)将去模糊,去噪,去雾任务在一个模型上进行了训练和测试。该文将整体网络分成两个部分,前两个stage用于提取图像中的特征并进行初始的修复,最后stage用于精细话处理。
我个人认为图像重建任务的模型是可以通用的,虽然我没有尝试过(咳咳)。目前主要用的网络架构是类UNet的结构,即先用逐层减少图像尺寸/分辨率来获得较为整体的信息,再通过逐级的尺度升级来得到最终的修复图像。像MPRNet的前两个阶段同样是用这种编解码的结构处理,所以我会认为重建任务的大部分模型或者模型的大部分都是相似或者是相通,可以直接用来处理其他任务的。
对于图像去模糊来说,当同时降低模糊图像和清晰图像的尺寸时,两张图从视觉上和一些指标的计算上是更为相近的,提升尺寸时则相反。类似的(个人观点),当噪声图像缩小时,图像中的尖锐噪声会被“模糊”从而变相地消除了噪声。因此,从编解码最直观的处理方式来看,先从与清晰图像更为接近的低尺寸模糊图像中获取对图像的整体特征,然后再去做扩充时就有了“限制”,从而达到修复图像的目的。很多文章的multi-scale我认为也是从这个角度去逐尺度修复图像,相当于不断地refine。不过