英文论文阅读-Deep Bilateral Learning for Real-Time Image Enhancement（基于深度双边学习的实时图像增强）

Deep Bilateral Learning for Real-Time Image Enhancement

摘要：性能是移动图像处理中的关键挑战。给定一个参考成像管道，甚至是人为调整的图像对，我们力求再现这些增强功能并实现实时评估。为此，我们引入了一种新的神经网络体系结构，该体系结构受到双边网格处理和局部仿射颜色变换的启发。使用输入/输出图像对，我们训练卷积神经网络来预测双边空间中局部仿射模型的系数。我们的体系结构学会制定本地，全局和内容相关的决策，以近似所需的图像转换。在运行时，神经网络消耗输入图像的低分辨率版本，在双边空间中生成一组仿射变换，使用新的切片节点以保留边缘的方式对这些变换进行上采样，然后将这些上采样的变换应用于全分辨率图像。我们的算法可在几毫秒内处理智能手机上的高分辨率图像，提供1080p分辨率的实时取景器，并与大多数图像运算符上最先进的逼近技术相媲美。与以前的工作不同，我们的模型是从数据中脱机训练的，因此不需要在运行时访问原始操作员。这使我们的模型可以学习复杂的，依赖于场景的变换，而这些变换没有参考实现，例如人工修饰的照片编辑。

关键字：实时图像处理、深度学习、数据驱动方法、卷积神经网络

1 引言

现代相机和移动设备产生的图像和视频的高分辨率给图像处理算法带来了巨大的性能压力，需要熟练的程序员进行复杂的代码优化。而系统贡献则试图促进高性能可执行文件的实现，例如[Hegarty等人。2014年；Mullapudi等人。2016年；RaganKelley等人。2012年），他们需要程序员的专业知识，他们的运行时成本仍然随着管道的复杂性而增长，并且他们只在源代码可用于过滤器时才适用。此外，由于图像增强是主观的，因此通常希望直接从人类调整中学习增强模型，例如[Bychkovsky等人。2011年]。为此，我们提出了一种机器学习方法，其中参考滤波器、流水线、甚至主观手动照片调整的效果是通过一个深度网络来学习的，该网络可以快速评估，且成本与参考的复杂性无关。我们专注于不在空间上扭曲图像或添加新边的摄影增强，例如[Aubry等人。2014年；Hasinoff等人。2016年]。