图像美化笔记:DSLR-Quality Photos on Mobile Devices with Deep Convolutional Networks

论文地址:DSLR-Quality Photos on Mobile Devices with Deep Convolutional Networks
来源: 2017 ICCV
在线demo:http://people.ee.ethz.ch/~ihnatova/#demo
GitHub:https://github.com/aiff22/DPED
任务:普通图片->DSLR[单反]质量的图片(图像美化、图像增强)
方法:作为图像翻译问题,使用形似PIX2PIX的条件生成对抗网络来实现
创新:提出映射的方式来处理图片增强+ 大规模数据集建立+ 多种损失函数的提出

贡献:

1.提出了一个关于学习手机设备和DSLR 摄像机的映射的新方法
2.建立了一个大规模数据集(6k 的图片)
3.颜色,纹理以及文本等多重Loss的结合应用
4.在主观和客观上都取得了较好的效果

引言:

尽管内置智能手机相机的质量迅速提高,但它们的物理限制 - 小尺寸传感器,小巧镜头和缺乏特定硬件 - 阻碍了它们实现DSLR相机的高质量效果。在这项工作中,文章提出了一种端到端的深度学习方法,通过将普通照片转换为DSLR质量的图像来弥补这一差距。
总体而言,也是采用图像翻译的方式来处理图像增强这一任务,采用的模型是形如pix2pix的生成对抗网络模型,并使用多种损失函数结合来进行处理。

数据:

文章提出了大型的DPED数据集,其中包括三个智能手机和一个数码单反相机在野外同步拍摄的照片。
设备:iPhone 3GS,BlackBerry Passport,Sony Xperia Z和Canon 70D DSLR。
数据量:

3周内拍摄了超过22K张照片
索尼智能手机的4549张照片
iPhone的5727张照片
黑莓的6015张照片
与上述三种手机图片对应的佳能数码单反相机照片

环境:

白天各种各样地方 各种照明和天气环境下拍摄

后续处理(为获得paired图片):

基于SIFT特征执行了额外的非线性变换,以提取手机和DSLR照片之间的交叉部分,获得对齐图像片段提取大小为100x100像素的补丁

文章具体细节:

  1. 具体网络结构
    网络具体结构
  2. 损失函数
    2.1 Color loss (MSE loss)
    在这里插入图片描述
    2.2 Texture loss (Adversarial loss)
    在这里插入图片描述
    2.3 Content loss (Perceptual loss)
    在这里插入图片描述
    2.4 Total variation loss
    在这里插入图片描述
    2.5 Total loss
    在这里插入图片描述
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 3
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值