TPAMI 2024 | 利用相机原始快照进行高效的视觉计算

题目：Efficient Visual Computing With Camera RAW Snapshots

利用相机原始快照进行高效的视觉计算

作者：Zhihao Li; Ming Lu; Xu Zhang; Xin Feng; M. Salman Asif; Zhan Ma

源码链接： https://njuvision.github.io/rho-vision

---

摘要

传统相机在传感器上捕获图像辐照度（RAW），并使用图像信号处理器（ISP）将其转换为RGB图像。然后，这些图像可以用于摄影或在各种应用中的视觉计算任务，例如公共安全监控和自动驾驶。可以说，由于RAW图像包含了所有捕获的信息，因此对于视觉计算而言，使用ISP将RAW转换为RGB是不必要的。在本文中，我们提出了一个新颖的ρ-视觉框架，使用RAW图像执行高级语义理解和低级压缩，而无需使用数十年来使用的ISP子系统。考虑到可用RAW图像数据集的稀缺性，我们首先开发了一个基于无监督CycleGAN的未配对CycleR2R网络，使用未配对的RAW和RGB图像训练模块化展开的ISP和逆ISP（invISP）模型。然后，我们可以灵活地使用任何现有的RGB图像数据集生成模拟RAW图像（simRAW），并对最初在RGB领域训练的不同模型进行微调，以处理现实世界的相机RAW图像。我们展示了使用RAW域YOLOv3和RAW图像压缩器（RIC）在相机快照上进行目标检测和图像压缩的能