image2image深度学习算法汇总

最新推荐文章于 2024-08-09 08:23:12 发布

三寸光阴___

最新推荐文章于 2024-08-09 08:23:12 发布

阅读量3.3k

点赞数 6

分类专栏：深度学习

本文链接：https://blog.csdn.net/qq_38109843/article/details/115231659

版权

深度学习专栏收录该内容

20 篇文章 5 订阅

订阅专栏

github上有一个比较全的汇总，主要是17~20年的：https://github.com/lzhbrian/image-to-image-papers。
image2image方向比较多，有分割，超分辨率，去噪，去雨，去雾，风格迁移，raw2rgb（ISP）等，这里尽量挑一些比较经典的算法做一个汇总。

SRCNN

简介：SRCNN是首个使用CNN结构（即基于深度学习）的端到端的超分辨率算法，但是输入网络之前，对输入的低分辨率lr图像使用bicubic算法进行放大，网络比较浅。
论文：https://ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=7115171&tag=1
代码：http://mmlab.ie.cuhk.edu.hk/projects/SRCNN.html
解析：https://zhuanlan.zhihu.com/p/93105406

VDSR

简介：将resnet思想运用到超分任务上，并使用用带有padding的卷积，保持分辨率大小一致，同样输入网络前使用插值算法放大。
论文：https://arxiv.org/abs/1511.04587
代码：https://cv.snu.ac.kr/research/VDSR/
解析：https://zhuanlan.zhihu.com/p/76714762?ADUIN=2028377749

SRGAN

简介：将生成对抗网络(Generative Adversarial Network, GAN)用在了解决超分辨率问题上。直接端到端的超分，即输入小分辨率，输出大分辨率。文章提到，训练网络时用均方差作为损失函数，虽然能够获得很高的峰值信噪比，但是恢复出来的图像通常会丢失高频细节，使人不能有好的视觉感受。SRGAN利用感知损失(perceptual loss)和对抗损失(adversarial loss)来提升恢复出的图片的真实感。
论文：https://arxiv.org/abs/1609.04802
代码：https://github.com/ai-tor/PyTorch-SRGAN
解析：https://blog.csdn.net/weixin_42113955/article/details/89001989

FCN

简介：FCN将CNN最后一层全连接层替换为卷积层，输出一张Label好的图片。
论文：https://www.cv-foundation.org/openaccess/content_cvpr_2015/html/Long_Fully_Convolutional_Networks_2015_CVPR_paper.html
代码：https://github.com/shelhamer/fcn.berkeleyvision.org
解析：https://zhuanlan.zhihu.com/p/22976342?utm_source=tuicool&utm_medium=referral

U-net

简介：提出了一种U型的网络结构，主要运用于图像分割，即输入一张原图，输入分割后的图像。
论文：https://arxiv.org/pdf/1505.04597.pdf
代码：https://github.com/milesial/Pytorch-UNet
解析：https://blog.csdn.net/l2181265/article/details/87735610

deeplab系列

简介：针对语义分割任务的难点进行一系列的改进
论文：v1：https://arxiv.org/pdf/1412.7062v3.pdf、v2：https://arxiv.org/pdf/1606.00915.pdf、v3：https://arxiv.org/pdf/1706.05587.pdf、v4：https://arxiv.org/pdf/1802.02611.pdf
代码： https://github.com/tensorflow/models/blob/master/research/deeplab
解析：https://blog.csdn.net/qq_38109843/article/details/90944940

pix2pix

简介：是将GAN应用于有监督的图像到图像的经典论文，有监督表示训练数据是成对的，基于一张输入图像得到想要的输出图像的过程，可以看做是图像和图像之间的一种映射（mapping），我们常见的图像修复、超分辨率其实都是图像到图像的例子。
论文：https://arxiv.org/pdf/1611.07004.pdf
代码：https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix
解析：https://www.jianshu.com/p/8c7a7cb7198c

Learn to See in the Dark

简介：本身任务是解决在低照度情况下传统ISP图像成像问题，模型是一个以RAW bayer为输入，RGB输出为输出。从成像的角度这就是一个完整的ISP。
论文：https://arxiv.org/pdf/1805.01934.pdf
Github：https://github.com/cchen156/Learning-to-See-in-the-Dark
解析：https://blog.csdn.net/linchunmian/article/details/80291921

PyNet

简介：作者提出一种新颖的金字塔CNN架构（PyNet）用于细粒度图像复原，任务是原始数据raw转rgb图像，它可以隐含的完成所有ISP过程（比如图像去马赛克、图像去噪、白平衡、颜色与对比度矫正、对摩尔纹等）。
论文：https://arxiv.org/pdf/2002.05509.pdf
代码：http://people.ee.ethz.ch/~ihnatova/pynet.html
解析：https://zhuanlan.zhihu.com/p/107840206